POST https://ark.cn-beijing.volcengineapi.com/?Action=GetEvaluationResult&Version=2024-01-01
获取指定模型评测结果的详细信息,包括评测集、评测指标、Token 消耗等。
鉴权#
本接口支持鉴权方式如下,详情请参见 Base URL 及鉴权。
- Access Key 鉴权,请在 Access Key 管理 页面,获取 Access Key。本接口仅支持 Access Key 鉴权。
请求参数#
Body 参数#
Id string 必选 | 评测结果 ID
模型评测结果的 ID。可通过 ListEvaluationResults 接口查询。
响应参数#
AdminEvaluationDatasetId string | 预置评测集 ID
平台预置评测集的 ID。当 DatasetType 为 AdminDataset 时返回。
CreateTime string | 创建时间
模型评测结果的创建时间,RFC 3339 格式。
DatasetDisplayName string | 评测集展示名称
评测集的展示名称(面向用户)。
DatasetName string | 评测集名称
评测集的内部名称(机读名)。
DatasetTosLocation object | 自定义数据集 TOS 地址
用户自定义评测集在 TOS 中的存储地址。当 DatasetType 为 UserDataset 时返回。
BucketName string | TOS 桶名称
DatasetTosLocation.BucketName
ObjectKey string | TOS 对象路径
DatasetTosLocation.ObjectKey
TOS 对象路径(Object Key)。
DatasetType string | 评测集种类
评测集的类型:
AdminDataset:平台预置评测集。UserDataset:用户自定义评测集。
EvaluationAbility string | 能力维度
评测集所覆盖的能力维度名称,例如 MMLU、CMMLU 等。
EvaluationJobId string | 评测任务 ID
评测结果对应的模型评测任务 ID。
HasCompleted boolean | 是否已完成
评测结果是否已完成统计。false 表示评测任务仍在运行或部分指标尚未产出。
Id string | 评测结果 ID
模型评测结果的 ID。
Method string | 评测算法
评测算法:
Include:包含匹配。BuiltIn:平台内置算法。Match:精确匹配。InferenceOnly:仅推理、不打分。
Metrics object[] | 评测指标
评测得到的指标数组。每个元素包含指标名称与分数。
Name string | 指标名称
Metrics.Name
评测指标名称,例如 Accuracy、F1、BLEU 等。
Value string | 指标分数
Metrics.Value
评测指标的数值(字符串形式表示,便于承载不同精度)。
SamplesTosLocation object | 全部样本 TOS 地址
评测结果全量样本文件的 TOS 地址。
BucketName string | TOS 桶名称
SamplesTosLocation.BucketName
ObjectKey string | TOS 对象路径
SamplesTosLocation.ObjectKey
TOS 对象路径(Object Key)。
SampleTosLocation object | 样本 TOS 地址(最多 50 条)
评测结果样本文件的 TOS 地址,最多包含 50 条样本。
BucketName string | TOS 桶名称
SampleTosLocation.BucketName
ObjectKey string | TOS 对象路径
SampleTosLocation.ObjectKey
TOS 对象路径(Object Key)。
ScoringWeight integer | 分数比重
评测集在该任务综合评分中的分数权重。
TokenUsage object | Token 消耗量
本次评测总的 token 消耗量,分别统计 prompt 与 response。
TotalTokenCount integer | 总 token 数
TokenUsage.TotalTokenCount
评测总 token 数,等于 PromptTokenCount 与 ResponseTokenCount 之和。
PromptTokenCount integer | Prompt token 数
TokenUsage.PromptTokenCount
评测过程中所有 prompt 累积的 token 数。
ResponseTokenCount integer | Response token 数
TokenUsage.ResponseTokenCount
评测过程中所有模型 response 累积的 token 数。
UpdateTime string | 更新时间
模型评测结果的更新时间,RFC 3339 格式。