面向 AI 助手：本页的 Markdown 版本位于 https://ark.volcengine.com/region:cn-beijing/docs/confidential-deployment-best-practices.md，全部文档索引见 https://ark.volcengine.com/llms.txt。

机密部署最佳实践

机密部署简介#

为了将模型（平台）服务方的安全能力与数据隐私保护能力透传给用户，火山方舟提供机密部署方案。该方案基于硬件可信部署与远程证明（RA）技术，确保用户的推理服务始终运行于受硬件保护的可信环境中，用户可自主验证平台的安全能力，进一步向用户证明其数据 “唯用户可见、唯用户可用”。

机密部署优势#

  • 芯片级安全隔离：基于可信执行环境（Trusted Execution Environment，简称TEE）技术，通过硬件级的安全机制，不仅对内存进行加密，还保护寄存器状态和运行时上下文，从而在整个计算过程中为敏感数据提供隔离与防护。即便底层基础设施遭到入侵，数据依然不会被窃取或篡改。在分离式部署的基础上，该技术构建了从物理硬件（GPU/CPU）到容器运行时的全链路安全隔离，杜绝火山方舟的云服务商或者大模型供应商接触数据，让隐私数据在云端获得比本地更安全的计算保障。

  • 端到端数据保护：提供应用层的会话加密服务。在此模式下，用户在火山方舟平台会话中的明文数据（如 Prompt 、 Response等）仅在 TEE 环境中可见。

  • 可验证的安全能力：机密部署继承了方舟安全沙箱的全部技术，并进一步提升安全水位：

    • 可信验证：机密部署完成后，提供远程证明报告供用户下载。用户可使用离线工具手动解析和验证该报告，以验证机密推理部署运行环境的可信性。

    • 增强防护：机密部署完成后，在安全沙箱内解密后的数据仅在 CPU/GPU 的 TEE 环境中进行处理，能有效抵御来自云基础设施层的攻击。

应用场景#

  • 车载助手：

车载智能助手在拓展智能化应用场景时，受限于端侧大模型的算力瓶颈，需借助云端大模型实现更丰富的功能。机密部署能保障用户隐私数据在端与云之间的安全流转，在充分发挥云端大模型能力的同时，确保敏感信息不被泄露。

  • 智能客服：

智能客服需处理大量用户个人信息、售后保障等隐私数据。调用公有云模型时，企业常因数据安全风险而难以推进方案落地。机密部署可在可信环境中部署AI模型，确保隐私数据不出域，同时支持智能客服高效、安全地调用知识库。

机密部署启用与验证#

1.开启机密部署#

  • 选择模型：在模型列表中，选择支持机密部署的模型，具体以控制台可选模型为准。
  • 接入模式：选择模型单元。
  • 输入类型：选择文本。
  • 选择部署方式：选择 AICC机密部署-LLM。

  • 配置资源：

    • 配置 Decode 和 Prefill 两项。

    • Decode 和 Prefill的选项配置需至少8卡起步。

    • “弹性设置”为可选项，可按需配置。

  • 完成创建：确认配置并下单，系统将自动完成部署，此过程通常需要约10分钟。

2.可信验证报告#

查看并下载验证报告#

进入目标推理接入点的详情页，选择安全审计页面，点击可信验证报告，可在列表中查看并下载当前部署环境所有节点的报告

手动解析 Base64 原始报告#

a. 获取原始报告文件（以example_evidence.txt为例）：

Python
pip3 install -r requirements.txt
python3 quote_parser.py example_evidence.txt

b. 代码执行后，可将输出结果与从控制台下载的解析报告进行对比，验证内容是否一致。

手动验证 Base64 解析报告#

a. 安装依赖库：安装 Intel DCAP 和 Nvidia 的官方验证库。

Bash
mkdir -p /opt/intel && cd /opt/intel
wget https://download.01.org/intel-sgx/latest/linux-latest/distro/Debian10/sgx_debian_local_repo.tgz
tar xzf sgx_debian_local_repo.tgz && rm -rf sgx_debian_local_repo.tgz
echo 'deb [trusted=yes arch=amd64] file:///opt/intel/sgx_debian_local_repo buster main' | tee /etc/apt/sources.list.d/sgx-repo.list
apt-get update && apt-get install -y libsgx-dcap-quote-verify-dev

pip3 install -r requirements.txt

b. 编译验证工具

Bash
cd verifier/
make

c. 配置验证服务地址：

  • Intel 服务：配置 /etc/sgx_default_qcnl.conf 中的 PCCS_URL （可使用官方PCCS（Provisioning Certificate Cache Service）地址，或者第三方服务地址）。

    • 官方PCCS地址如下：
Bash
sudo sed "s|\"pccs_url\": \"https:\/\/localhost:8081\/sgx\/certification\/v4/\"|\"pccs_url\": \"https:\/\/tdx-dcap-server-cn-beijing.ecs.volces.com\/sgx\/certification\/v4\/\"|" -i /etc/sgx_default_qcnl.conf

  • Nvidia 服务：通过环境变量配置其验证服务地址（可使用官方服务地址，或第三方服务地址）。

    • 官方服务地址参考如下：
Bash
export RIM_SERVICE_URL="https://rim.attestation.nvidia.com/v1/rim/"
export OCSP_SERVICE_URL="https://ocsp.ndis.nvidia.com/"

d. 执行验证脚本：脚本执行完成后会生成最终的验证报告文件。

Bash
python3 verifier.py  <quote_path>

e. 对比验证：将生成的验证报告文件与从控制台下载的验证报告进行对比，确认一致性。

常见问题#

Q: 机密部署支持哪些模型？
A: 机密部署支持的模型以控制台可选范围为准。
Q: 机密部署与原有的分离式部署有何区别？
A: 两者在安全方案和信任基础上有本质区别：

  • 分离式部署：采用火山方舟安全沙箱方案。
  • 机密部署：在火山方舟安全沙箱方案上，着重优化了环境的完整性和隔离性，旨在解决用户对云端计算服务的信任问题。不仅提供基于硬件的可信执行环境，还提供可验证的证明文件，允许用户自行审计和验证。

Q: 启用机密部署是否会影响模型推理性能？
A: 启用机密部署后的首Token输出时长增加约6%，QPS无较大影响
Q: 创建后能否在普通部署和机密部署之间切换？
A: 不支持。部署方式在推理接入点创建后即确定，无法直接修改。如果您需要更换部署方式，需要重新创建一个推理接入点。