POST https://ark.cn-beijing.volces.com/api/v3/tokenization
对输入的文本进行分词，返回每个 Token 的 ID 和偏移量。仅支持文本输入。
鉴权#
本接口支持鉴权方式如下，详情请参见 Base URL 及鉴权。
- API Key 鉴权，请在 API Key 管理 页面，获取长效 API Key。
请求参数#
Body 参数#
model string 必选 | 模型 ID
本次请求使用模型的 Model ID 或推理接入点 (Endpoint ID)
text string / string[] 必选 | 分词内容
需要分词的内容，支持字符串或字符串列表。如需在一次请求中对多条文本分词，请传入字符串列表
user string | 用户标识
代表最终用户的唯一标识符。当前服务端接受但不使用该字段，预留以对齐其他接口
响应参数#
created integer | 创建时间
本次请求创建时间的 Unix 时间戳（秒）
data object[] | 分词结果
本次请求的分词结果列表，每个元素对应一条输入文本的分词结果
index integer | 索引
data.index
当前元素在 data 列表中的索引，与请求 text 数组顺序一致
object string | 对象类型
data.object
对象类型，固定为 tokenization
offset_mapping integer[] | 偏移量
data.offset_mapping
对文本进行分词后的词语偏移量，列表中每个元素是一个包含两个整数的列表：第一个整数表示词或标记在原始文本中的起始索引（从 0 开始），第二个整数表示结束索引（不包括该索引处的字符）
token_ids integer[] | Token ID 列表
data.token_ids
对文本分词后每个 token 在词表中的 ID 列表，顺序与原文一致
total_tokens integer | token 总数
data.total_tokens
对应内容的总 token 数量
id string | 请求 ID
本次请求的唯一标识
model string | 使用的模型
本次请求实际使用的模型 ID（模型名称-版本）。例如调用部署 doubao-seed-2-1-pro-260628 模型的推理接入点，返回 model 字段信息 doubao-seed-2-1-pro-260628
object string | 对象类型
固定为 list