# 机密部署最佳实践
> 全部文档的索引见 [llms.txt](https://ark.volcengine.com/llms.txt)；在任一文档页面地址后追加 `.md` 可获取该页的 Markdown 版本。
# **机密部署简介**
为了将模型（平台）服务方的安全能力与数据隐私保护能力透传给用户，火山方舟提供机密部署方案。该方案基于硬件可信部署与远程证明（RA）技术，确保用户的推理服务始终运行于受硬件保护的可信环境中，用户可自主验证平台的安全能力，进一步向用户证明其数据 “唯用户可见、唯用户可用”。
# **机密部署优势**
* **芯片级安全隔离**：基于可信执行环境（Trusted Execution Environment，简称TEE）技术，通过硬件级的安全机制，不仅对内存进行加密，还保护寄存器状态和运行时上下文，从而在整个计算过程中为敏感数据提供隔离与防护。即便底层基础设施遭到入侵，数据依然不会被窃取或篡改。在分离式部署的基础上，该技术构建了从物理硬件（GPU/CPU）到容器运行时的全链路安全隔离，杜绝火山方舟的云服务商或者大模型供应商接触数据，让隐私数据在云端获得比本地更安全的计算保障。
* **端到端数据保护**：提供应用层的会话加密服务。在此模式下，用户在火山方舟平台会话中的明文数据（如 Prompt 、 Response等）仅在 TEE 环境中可见。
* **可验证的安全能力**：机密部署继承了方舟安全沙箱的全部技术，并进一步提升安全水位：
* **可信验证**：机密部署完成后，提供远程证明报告供用户下载。用户可使用离线工具手动解析和验证该报告，以验证机密推理部署运行环境的可信性。
* **增强防护**：机密部署完成后，在安全沙箱内解密后的数据仅在 CPU/GPU 的 TEE 环境中进行处理，能有效抵御来自云基础设施层的攻击。
# **应用场景**
* **车载助手**：
车载智能助手在拓展智能化应用场景时，受限于端侧大模型的算力瓶颈，需借助云端大模型实现更丰富的功能。机密部署能保障用户隐私数据在端与云之间的安全流转，在充分发挥云端大模型能力的同时，确保敏感信息不被泄露。
* **智能客服**：
智能客服需处理大量用户个人信息、售后保障等隐私数据。调用公有云模型时，企业常因数据安全风险而难以推进方案落地。机密部署可在可信环境中部署AI模型，确保隐私数据不出域，同时支持智能客服高效、安全地调用知识库。
# 机密部署启用与验证
## 1.开启机密部署
* **创建推理接入点**：在 [火山方舟控制台](https://ark.volcengine.com/region:cn-beijing/endpoint?config=%7B%7D) 点击**创建推理接入点**。
* **选择模型**：在模型列表中，选择支持机密部署的模型，具体以控制台可选模型为准。
* 接入模式：选择**模型单元**。
* 输入类型：选择**文本**。
* **选择部署方式**：选择 **AICC机密部署-LLM**。
* **配置资源**：
* 配置 **Decode 和 Prefill 两项**。
* Decode 和 Prefill的选项配置**需至少8卡起步**。
* “弹性设置”为可选项，可按需配置。
* **完成创建**：确认配置并下单，系统将自动完成部署，此过程通常需要约10分钟。
## 2.可信验证报告
> **说明**
>
> 当您创建了机密部署推理点后，**安全审计页面**会自动为您展示部署节点的验证报告，您也可通过以下方式自主验证报告的真实性与一致性：
> a. 手动解析原始base64报告中的内容，与下载的base64解析报告内容做一致性对比
> b. 手动验证base64解析报告中的内容，与下载的验证报告内容做一致性对比与进一步分析
### **查看并下载验证报告**
进入目标推理接入点的详情页，选择**安全审计页面**，点击**可信验证报告**，可在列表中查看并下载当前部署环境所有节点的报告
### **手动解析 Base64 原始报告**
> **说明**
>
> 脚本工具源码需联系销售人员获取。操作环境需为 Python 3.9 及以上。
a. **获取原始报告文件**（以`example_evidence.txt`为例）：
```Python
pip3 install -r requirements.txt
python3 quote_parser.py example_evidence.txt
```
b. 代码执行后，可将输出结果与从控制台下载的解析报告进行对比，验证内容是否一致。
### 手动验证 Base64 解析报告
> **说明**
>
> 脚本工具源码需联系销售人员获取。操作环境需为 Python 3.9 及以上并安装 gcc。
a. **安装依赖库**：安装 Intel DCAP 和 Nvidia 的官方验证库。
```Bash
mkdir -p /opt/intel && cd /opt/intel
wget https://download.01.org/intel-sgx/latest/linux-latest/distro/Debian10/sgx_debian_local_repo.tgz
tar xzf sgx_debian_local_repo.tgz && rm -rf sgx_debian_local_repo.tgz
echo 'deb [trusted=yes arch=amd64] file:///opt/intel/sgx_debian_local_repo buster main' | tee /etc/apt/sources.list.d/sgx-repo.list
apt-get update && apt-get install -y libsgx-dcap-quote-verify-dev
pip3 install -r requirements.txt
```
b. **编译验证工具**
```Bash
cd verifier/
make
```
c. **配置验证服务地址**：
* **Intel 服务**：配置 `/etc/sgx_default_qcnl.conf` 中的 `PCCS_URL` （可使用官方PCCS（Provisioning Certificate Cache Service）地址，或者第三方服务地址）。
* 官方PCCS地址如下：
```Bash
sudo sed "s|\"pccs_url\": \"https:\/\/localhost:8081\/sgx\/certification\/v4/\"|\"pccs_url\": \"https:\/\/tdx-dcap-server-cn-beijing.ecs.volces.com\/sgx\/certification\/v4\/\"|" -i /etc/sgx_default_qcnl.conf
```
* **Nvidia 服务**：通过环境变量配置其验证服务地址（可使用官方服务地址，或第三方服务地址）。
* 官方服务地址参考如下：
```Bash
export RIM_SERVICE_URL="https://rim.attestation.nvidia.com/v1/rim/"
export OCSP_SERVICE_URL="https://ocsp.ndis.nvidia.com/"
```
d. **执行验证脚本**：脚本执行完成后会生成最终的验证报告文件。
```Bash
python3 verifier.py
```
e. **对比验证**：将生成的验证报告文件与从控制台下载的验证报告进行对比，确认一致性。
# 常见问题
**Q: 机密部署支持哪些模型？**
**A**: 机密部署支持的模型以控制台可选范围为准。
**Q: 机密部署与原有的分离式部署有何区别？**
**A**: 两者在安全方案和信任基础上有本质区别：
* 分离式部署：采用火山方舟安全沙箱方案。
* 机密部署：在火山方舟安全沙箱方案上，着重优化了环境的完整性和隔离性，旨在解决用户对云端计算服务的信任问题。不仅提供基于硬件的可信执行环境，还提供可验证的证明文件，允许用户自行审计和验证。
**Q: 启用机密部署是否会影响模型推理性能？**
**A**: 启用机密部署后的首Token输出时长增加约6%，QPS无较大影响
**Q: 创建后能否在普通部署和机密部署之间切换？**
**A**: 不支持。部署方式在推理接入点创建后即确定，无法直接修改。如果您需要更换部署方式，需要重新创建一个推理接入点。