# 获取评测任务结果

> 全部文档的索引见 [llms.txt](https://ark.volcengine.com/llms.txt)；在任一文档页面地址后追加 `.md` 可获取该页的 Markdown 版本。

`POST https://ark.cn-beijing.volcengineapi.com/?Action=GetEvaluationResult&Version=2024-01-01`

获取指定模型评测结果的详细信息，包括评测集、评测指标、Token 消耗等。

## 鉴权

本接口支持鉴权方式如下，详情请参见 [Base URL 及鉴权](/docs/base-url-and-authentication)。

* Access Key 鉴权，请在 [Access Key 管理](https://console.volcengine.com/iam/keymanage) 页面，获取 Access Key。本接口仅支持 Access Key 鉴权。

---

<span id="request-parameters"></span>
## 请求参数

### Body 参数

**Id** `string` `必选` | 评测结果 ID

模型评测结果的 ID。可通过 *ListEvaluationResults* 接口查询。

## 响应参数

**AdminEvaluationDatasetId** `string` | 预置评测集 ID

平台预置评测集的 ID。当 *DatasetType* 为 `AdminDataset` 时返回。

**CreateTime** `string` | 创建时间

模型评测结果的创建时间，RFC 3339 格式。

**DatasetDisplayName** `string` | 评测集展示名称

评测集的展示名称（面向用户）。

**DatasetName** `string` | 评测集名称

评测集的内部名称（机读名）。

**DatasetTosLocation** `object` | 自定义数据集 TOS 地址

用户自定义评测集在 TOS 中的存储地址。当 *DatasetType* 为 `UserDataset` 时返回。

**BucketName** `string` | TOS 桶名称

`DatasetTosLocation.BucketName`

> **说明：注意**
>
> 当前火山方舟仅支持华北 2-北京地域（`region: cn-beijing`）的 TOS 桶。

**ObjectKey** `string` | TOS 对象路径

`DatasetTosLocation.ObjectKey`

TOS 对象路径（Object Key）。

**DatasetType** `string` | 评测集种类

评测集的类型：

- `AdminDataset`：平台预置评测集。
- `UserDataset`：用户自定义评测集。

**EvaluationAbility** `string` | 能力维度

评测集所覆盖的能力维度名称，例如 MMLU、CMMLU 等。

**EvaluationJobId** `string` | 评测任务 ID

评测结果对应的模型评测任务 ID。

**HasCompleted** `boolean` | 是否已完成

评测结果是否已完成统计。`false` 表示评测任务仍在运行或部分指标尚未产出。

**Id** `string` | 评测结果 ID

模型评测结果的 ID。

**Method** `string` | 评测算法

评测算法：

- `Include`：包含匹配。
- `BuiltIn`：平台内置算法。
- `Match`：精确匹配。
- `InferenceOnly`：仅推理、不打分。

**Metrics** `object[]` | 评测指标

评测得到的指标数组。每个元素包含指标名称与分数。

> **说明**
>
> 指标 *Name* 取决于评测集与算法，例如准确率（Accuracy）、F1 分数、BLEU、ROUGE 等；*Value* 通常为 0-100 的分数字符串。

**Name** `string` | 指标名称

`Metrics.Name`

评测指标名称，例如 Accuracy、F1、BLEU 等。

**Value** `string` | 指标分数

`Metrics.Value`

评测指标的数值（字符串形式表示，便于承载不同精度）。

**SamplesTosLocation** `object` | 全部样本 TOS 地址

评测结果全量样本文件的 TOS 地址。

**BucketName** `string` | TOS 桶名称

`SamplesTosLocation.BucketName`

> **说明：注意**
>
> 当前火山方舟仅支持华北 2-北京地域（`region: cn-beijing`）的 TOS 桶。

**ObjectKey** `string` | TOS 对象路径

`SamplesTosLocation.ObjectKey`

TOS 对象路径（Object Key）。

**SampleTosLocation** `object` | 样本 TOS 地址（最多 50 条）

评测结果样本文件的 TOS 地址，最多包含 50 条样本。

**BucketName** `string` | TOS 桶名称

`SampleTosLocation.BucketName`

> **说明：注意**
>
> 当前火山方舟仅支持华北 2-北京地域（`region: cn-beijing`）的 TOS 桶。

**ObjectKey** `string` | TOS 对象路径

`SampleTosLocation.ObjectKey`

TOS 对象路径（Object Key）。

**ScoringWeight** `integer` | 分数比重

评测集在该任务综合评分中的分数权重。

**TokenUsage** `object` | Token 消耗量

本次评测总的 token 消耗量，分别统计 prompt 与 response。

**TotalTokenCount** `integer` | 总 token 数

`TokenUsage.TotalTokenCount`

评测总 token 数，等于 *PromptTokenCount* 与 *ResponseTokenCount* 之和。

**PromptTokenCount** `integer` | Prompt token 数

`TokenUsage.PromptTokenCount`

评测过程中所有 prompt 累积的 token 数。

**ResponseTokenCount** `integer` | Response token 数

`TokenUsage.ResponseTokenCount`

评测过程中所有模型 response 累积的 token 数。

**UpdateTime** `string` | 更新时间

模型评测结果的更新时间，RFC 3339 格式。


## 代码示例

## 默认

### cURL

#### Request

```bash
curl 'https://ark.cn-beijing.volcengineapi.com/?Action=GetEvaluationResult&Version=2024-01-01' \
  -H 'Content-Type: application/json' \
  -H 'X-Date: <X-Date>' \
  -H 'X-Content-Sha256: <X-Content-Sha256>' \
  -H 'Authorization: HMAC-SHA256 Credential=<AK>/<X-Date>/cn-beijing/ark/request, SignedHeaders=content-type;host;x-content-sha256;x-date, Signature=<Signature>' \
  -d '{
    "Id": "er-20240326054800-shhvj"
}
'
```

#### Response

```
{
    "ResponseMetadata": {
        "RequestId": "202404111438083076CAB39885F31BD6",
        "Action": "GetEvaluationResult",
        "Version": "2024-01-01",
        "Service": "ark",
        "Region": "cn-beijing"
    },
    "Result": {
        "Id": "er-20240326054800-shhvj",
        "EvaluationJobId": "ej-20240326054800-gl9rp",
        "DatasetType": "AdminDataset",
        "AdminEvaluationDatasetId": "aed-20240227112053-bt425",
        "DatasetName": "ark-ff-mmlu-other-5shots",
        "DatasetDisplayName": "MMLU 其他学科",
        "EvaluationAbility": "MMLU",
        "ScoringWeight": 3107,
        "Method": "BuiltIn",
        "Metrics": null,
        "TokenUsage": {
            "TotalTokenCount": 0
        },
        "SamplesTosLocation": {
            "BucketName": "",
            "ObjectKey": ""
        },
        "CreateTime": "2024-03-26T05:48:00Z",
        "UpdateTime": "2024-03-26T05:48:00Z"
    }
}
```