面向 AI 助手:本页的 Markdown 版本位于 https://ark.volcengine.com/region:cn-beijing/docs/get-evaluation-result-api.md,全部文档索引见 https://ark.volcengine.com/llms.txt。

获取评测任务结果

POST https://ark.cn-beijing.volcengineapi.com/?Action=GetEvaluationResult&Version=2024-01-01

获取指定模型评测结果的详细信息,包括评测集、评测指标、Token 消耗等。

鉴权#

本接口支持鉴权方式如下,详情请参见 Base URL 及鉴权。

  • Access Key 鉴权,请在 Access Key 管理 页面,获取 Access Key。本接口仅支持 Access Key 鉴权。

请求参数#

Body 参数#

Id string 必选  |  评测结果 ID

模型评测结果的 ID。可通过 ListEvaluationResults 接口查询。

响应参数#

AdminEvaluationDatasetId string  |  预置评测集 ID

平台预置评测集的 ID。当 DatasetType 为 AdminDataset 时返回。

CreateTime string  |  创建时间

模型评测结果的创建时间,RFC 3339 格式。

DatasetDisplayName string  |  评测集展示名称

评测集的展示名称(面向用户)。

DatasetName string  |  评测集名称

评测集的内部名称(机读名)。

DatasetTosLocation object  |  自定义数据集 TOS 地址

用户自定义评测集在 TOS 中的存储地址。当 DatasetType 为 UserDataset 时返回。

BucketName string  |  TOS 桶名称

DatasetTosLocation.BucketName

ObjectKey string  |  TOS 对象路径

DatasetTosLocation.ObjectKey

TOS 对象路径(Object Key)。

DatasetType string  |  评测集种类

评测集的类型:

  • AdminDataset:平台预置评测集。
  • UserDataset:用户自定义评测集。
EvaluationAbility string  |  能力维度

评测集所覆盖的能力维度名称,例如 MMLU、CMMLU 等。

EvaluationJobId string  |  评测任务 ID

评测结果对应的模型评测任务 ID。

HasCompleted boolean  |  是否已完成

评测结果是否已完成统计。false 表示评测任务仍在运行或部分指标尚未产出。

Id string  |  评测结果 ID

模型评测结果的 ID。

Method string  |  评测算法

评测算法:

  • Include:包含匹配。
  • BuiltIn:平台内置算法。
  • Match:精确匹配。
  • InferenceOnly:仅推理、不打分。
Metrics object[]  |  评测指标

评测得到的指标数组。每个元素包含指标名称与分数。

Name string  |  指标名称

Metrics.Name

评测指标名称,例如 Accuracy、F1、BLEU 等。

Value string  |  指标分数

Metrics.Value

评测指标的数值(字符串形式表示,便于承载不同精度)。

SamplesTosLocation object  |  全部样本 TOS 地址

评测结果全量样本文件的 TOS 地址。

BucketName string  |  TOS 桶名称

SamplesTosLocation.BucketName

ObjectKey string  |  TOS 对象路径

SamplesTosLocation.ObjectKey

TOS 对象路径(Object Key)。

SampleTosLocation object  |  样本 TOS 地址(最多 50 条)

评测结果样本文件的 TOS 地址,最多包含 50 条样本。

BucketName string  |  TOS 桶名称

SampleTosLocation.BucketName

ObjectKey string  |  TOS 对象路径

SampleTosLocation.ObjectKey

TOS 对象路径(Object Key)。

ScoringWeight integer  |  分数比重

评测集在该任务综合评分中的分数权重。

TokenUsage object  |  Token 消耗量

本次评测总的 token 消耗量,分别统计 prompt 与 response。

TotalTokenCount integer  |  总 token 数

TokenUsage.TotalTokenCount

评测总 token 数,等于 PromptTokenCount 与 ResponseTokenCount 之和。

PromptTokenCount integer  |  Prompt token 数

TokenUsage.PromptTokenCount

评测过程中所有 prompt 累积的 token 数。

ResponseTokenCount integer  |  Response token 数

TokenUsage.ResponseTokenCount

评测过程中所有模型 response 累积的 token 数。

UpdateTime string  |  更新时间

模型评测结果的更新时间,RFC 3339 格式。