批量(Chat) API（待下线）

POST https://ark.cn-beijing.volces.com/api/v3/batch/chat/completions 运行
本文介绍批量推理调用模型服务的 API 的输入输出参数，供您使用接口时查阅字段含义。通过批量推理您可享受到更高的限流配额以及实惠的价格，适合进行大批量数据处理时使用。

推荐的调用方式请见 示例代码。

请求参数#

跳转 响应参数

请求体#

model string 必选
通过 Endpoint ID 来调用模型，可参考 获取 Endpoint ID。

messages object[] 必选
到目前为止的对话组成的消息列表。不同模型支持不同类型的消息，如文本、图片、视频等。

thinking object 默认值 {"type":"enabled"}
控制模型是否开启深度思考模式。默认开启深度思考模式，可以手动关闭。

支持此字段的模型以及使用示例请参见 文档。

max_tokens integer / null 默认值 4096
模型回复最大长度（单位 token），取值范围各个模型不同，详细见模型列表。
输入 token 和输出 token 的总长度还受模型的上下文长度限制。

max_completion_tokens integer / null

支持该字段的模型 deepseek-r1-250528。

取值范围：[0, 64k]。
使用示例见 文档。控制模型输出的最大长度（包括模型回答和模型思维链内容长度，单位 token）。配置了该参数后，可以让模型输出超长内容，max_tokens （默认值 4k）与思维链最大长度将失效，模型按需输出内容，直到达到 max_completion_tokens 配置的值。
不可与 max_tokens 字段同时设置，会直接报错。

stop string / string[] / null 默认值 null
模型遇到 stop 字段所指定的字符串时将停止继续生成，这个词语本身不会输出。

• 默认最多支持 4 个停止词。
• deepseek-v4-pro-ga-260813、deepseek-v4-flash-ga-260731 最多支持 16 个停止词。

深度思考能力模型默认不支持该字段；上述 DeepSeek V4 模型除外。

示例：["你好", "天气"]

frequency_penalty float / null 默认值 0
取值范围为 [-2.0, 2.0]。
频率惩罚系数。如果值为正，会根据新 token 在文本中的出现频率对其进行惩罚，从而降低模型逐字重复的可能性。

presence_penalty float / null 默认值 0
取值范围为 [-2.0, 2.0]。
存在惩罚系数。如果值为正，会根据新 token 到目前为止是否出现在文本中对其进行惩罚，从而增加模型谈论新主题的可能性。

temperature float / null 默认值 1
取值范围为 [0, 2]。
采样温度。控制了生成文本时对每个候选词的概率分布进行平滑的程度。当取值为 0 时模型仅考虑对数概率最大的一个 token。
较高的值（如 0.8）会使输出更加随机，而较低的值（如 0.2）会使输出更加集中确定。
通常建议仅调整 temperature 或 top_p 其中之一，不建议两者都修改。

top_p float / null 默认值 0.7
取值范围为 [0, 1]。
核采样概率阈值。模型会考虑概率质量在 top_p 内的 token 结果。当取值为 0 时模型仅考虑对数概率最大的一个 token。
0.1 意味着只考虑概率质量最高的前 10% 的 token，取值越大生成的随机性越高，取值越低生成的确定性越高。通常建议仅调整 temperature 或 top_p 其中之一，不建议两者都修改。

logprobs boolean / null 默认值 false
是否返回输出 tokens 的对数概率。

• false：不返回对数概率信息。
• true：返回消息内容中每个输出 token 的对数概率。

top_logprobs integer / null 默认值 0
取值范围为 [0, 20]。
指定每个输出 token 位置最有可能返回的 token 数量，每个 token 都有关联的对数概率。仅当 logprobs 为true 时可以设置 top_logprobs 参数。

logit_bias map / null 默认值 null
调整指定 token 在模型输出内容中出现的概率，使模型生成的内容更加符合特定的偏好。logit_bias 字段接受一个 map 值，其中每个键为词表中的 token ID（使用 tokenization 接口获取），每个值为该 token 的偏差值，取值范围为 [-100, 100]。
-1 会减少选择的可能性，1 会增加选择的可能性；-100 会完全禁止选择该 token，100 会导致仅可选择该 token。该参数的实际效果可能因模型而异。
{"<Token_ID>": -100}

tools object[] / null 默认值 null
待调用工具的列表，模型返回信息中可包含。当您需要让模型返回待调用工具时，需要配置该结构体。支持该字段的模型请参见 文档。

1
2
3
4
5
6
7
8
9
10{
    "type": "object",
    "properties": {
        "location": {
            "type": "string",
            "description": "城市，如：北京"
        }
    },
    "required": ["location"]
}

响应参数#

跳转 请求参数

非流式调用返回#

id string
本次请求的唯一标识。

model string
本次请求实际使用的模型名称和版本。

service_tier string
本次请求是否使用了TPM保障包。

• default：本次请求未使用TPM保障包额度。

created integer
本次请求创建时间的 Unix 时间戳（秒）。

object string
固定为 chat.completion。

choices object[]
本次请求的模型输出内容。

usage object
本次请求的 token 用量。