上下文缓存对话 API

POST https://ark.cn-beijing.volces.com/api/v3/context/chat/completions 运行
上下文缓存（Context API）是方舟提供的一个高效的缓存机制。它通过缓存上下文数据，减少重复加载或处理，提高响应速度和一致性。本文介绍上下文缓存 API 的输入输出参数，供您使用接口时查阅字段含义。

---#

请求参数#

跳转 响应参数

modelstring 必选
您需要调用的模型的 ID （Model ID），开通模型服务，并 查询 Model ID 。
您也可通过 Endpoint ID 来调用模型，获得限流、计费类型（前付费/后付费）、运行状态查询、监控、安全等高级能力，可参考 获取 Endpoint ID。

messages object[] 必选
到目前为止的对话组成的消息列表。不同模型支持不同类型的消息，如文本、图片、视频等。

context_id string 必选
指定本次请求使用上下文缓存的 ID。在使用 接口 创建缓存时，从返回信息中获得。

stream boolean / null 默认值 false
响应内容是否流式返回：

• false：模型生成完所有内容后一次性返回结果。
• true：按 SSE 协议逐块返回模型生成内容，并以一条 data: [DONE] 消息结束。

stream_options object / null 默认值 null
流式响应的选项。当 stream 为 true 时可设置 stream_options 字段。

max_tokens integer / null 默认值 4096
模型回复最大长度（单位 token），取值范围各个模型不同，详细见模型列表。
输入 token 和输出 token 的总长度还受模型的上下文长度限制。

service_tier string / null 默认值 auto
指定是否使用 TPM保障包。生效对象为购买了保障包推理接入点。取值范围：

• default：本次请求，不使用 TPM 保障包，使用默认的限流和普通的服务响应速度，即使请求的是有TPM保障包额度的推理接入点。

缓存不支持TPM保障包，故不支持auto。

stop string / string[] / null 默认值 null
模型遇到 stop 字段所指定的字符串时将停止继续生成，这个词语本身不会输出。

• 默认最多支持 4 个停止词。
• deepseek-v4-pro-ga-260813、deepseek-v4-flash-ga-260731 最多支持 16 个停止词。

深度思考能力模型默认不支持该字段；上述 DeepSeek V4 模型除外。

示例：["你好", "天气"]

response_format object 默认值 {"type": "text"}
模型输出内容须遵循此处指定的格式。

frequency_penalty float / null 默认值 0
取值范围为 [-2.0, 2.0]。
频率惩罚系数。如果值为正，会根据新 token 在文本中的出现频率对其进行惩罚，从而降低模型逐字重复的可能性。

presence_penalty float / null 默认值 0
取值范围为 [-2.0, 2.0]。
存在惩罚系数。如果值为正，会根据新 token 到目前为止是否出现在文本中对其进行惩罚，从而增加模型谈论新主题的可能性。

temperature float / null 默认值 1
取值范围为 [0, 2]。
采样温度。控制了生成文本时对每个候选词的概率分布进行平滑的程度。当取值为 0 时模型仅考虑对数概率最大的一个 token。
较高的值（如 0.8）会使输出更加随机，而较低的值（如 0.2）会使输出更加集中确定。
通常建议仅调整 temperature 或 top_p 其中之一，不建议两者都修改。

top_p float / null 默认值 0.7
取值范围为 [0, 1]。
核采样概率阈值。模型会考虑概率质量在 top_p 内的 token 结果。当取值为 0 时模型仅考虑对数概率最大的一个 token。
0.1 意味着只考虑概率质量最高的前 10% 的 token，取值越大生成的随机性越高，取值越低生成的确定性越高。通常建议仅调整 temperature 或 top_p 其中之一，不建议两者都修改。

logprobs boolean / null 默认值 false
是否返回输出 tokens 的对数概率。

• false：不返回对数概率信息。
• true：返回消息内容中每个输出 token 的对数概率。

top_logprobs integer / null 默认值 0
取值范围为 [0, 20]。
指定每个输出 token 位置最有可能返回的 token 数量，每个 token 都有关联的对数概率。仅当 logprobs 为true 时可以设置 top_logprobs 参数。

logit_bias map / null 默认值 null
调整指定 token 在模型输出内容中出现的概率，使模型生成的内容更加符合特定的偏好。logit_bias 字段接受一个 map 值，其中每个键为词表中的 token ID（使用 tokenization 接口获取），每个值为该 token 的偏差值，取值范围为 [-100, 100]。
-1 会减少选择的可能性，1 会增加选择的可能性；-100 会完全禁止选择该 token，100 会导致仅可选择该 token。该参数的实际效果可能因模型而异。
{"1234": -100}

响应参数#

跳转 请求参数

非流式调用返回#

跳转 流式调用返回

id string
本次请求的唯一标识。

model string
本次请求实际使用的模型名称和版本。

doubao 1.5 代模型的模型名称格式为 doubao-1-5-**。如调用部署doubao-1.5-pro-32k 250115模型的推理接入点，返回model字段信息doubao-1-5-pro-32k-250115。

service_tier string
本次请求是否使用了TPM保障包。

• scale：本次请求使用TPM保障包额度。
• default：本次请求未使用TPM保障包额度。

created integer
本次请求创建时间的 Unix 时间戳（秒）。

object string
固定为 chat.completion。

choices object[]
本次请求的模型输出内容。

usage object
本次请求的 token 用量。

流式调用返回#

跳转 非流式调用返回

id string
本次请求的唯一标识。

model string
本次请求实际使用的模型名称和版本。
doubao 1.5 代模型的模型名称格式为 doubao-1-5-**。如调用部署doubao-1.5-pro-32k 250115模型的推理接入点，返回model字段信息doubao-1-5-pro-32k-250115。

service_tier string
本次请求是否使用了TPM保障包。

• scale：本次请求使用TPM保障包额度。
• default：本次请求未使用TPM保障包额度。

created integer
本次请求创建时间的 Unix 时间戳（秒）。

object string
固定为 chat.completion.chunk。

choices object[]
本次请求的模型输出内容。

usage object
本次请求的 token 用量。
流式调用时，默认不统计 token 用量信息，返回值为null。
如需统计，需设置 stream_options.include_usage 为true。