视频生成模型精调数据格式

本文介绍视频生成模型进行 SFT 精调时的数据集格式，涵盖 Seedance 1.0 的格式说明、样例及参数范围。

视频生成模型输入素材的图片、视频、音频要求，请参见全模态输入。

支持模型#

模型系列	精调方法	支持的数据场景
Doubao Seedance 1.0	SFT	文生视频、图生视频

SFT 精调#

Seedance 1.0#

格式示例#

Seedance 1.0 与 Seedance 2.0 均采用 messages 格式，不支持旧版 output.content.video_url 顶层结构。每条样本必须包含 1 个 user 消息和 1 个 assistant 消息，并确保单个样本独占一行。

1{"messages":[{"role":"user","content":[{"type":"text","text":"生成一段小狗在草地上奔跑的视频"}]},{"role":"assistant","content":[{"type":"video_url","video_url":{"url":"tos://bucketname/video/dog_run.mp4"}}],"loss_weight":1.0}]}

格式说明#

为便于展示各个字段关系，将 JSONL 格式文件的一条数据展开，如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25{
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "生成一段小狗在草地上奔跑的视频"
        }
      ]
    },
    {
      "role": "assistant",
      "content": [
        {
          "type": "video_url",
          "video_url": {
            "url": "tos://bucketname/video/dog_run.mp4"
          }
        }
      ],
      "loss_weight": 1.0
    }
  ]
}

字段说明
每行一条JSON格式的样本数据：

字段名			类型	是否必填	说明
`messages`			list	是	对话列表，必须包含 1 个 `user` 和 1 个 `assistant`。
	`role`		str	是	角色类型：`user` / `assistant`。
	`content`		list	是	内容列表。`user` 传入模型输入，`assistant` 传入输出视频。
		`type`	str	是	内容类型。输入根据模型能力使用 `text` 或 `image_url`；输出必须为 `video_url`。
		`text`	str	条件必填	文本提示词。
		`image_url`	dict	条件必填	图片输入，包含 `url` 字段。
		`video_url`	dict	条件必填	视频输出，包含 `url` 字段。使用 TOS 地址时，视频需与 JSONL 文件处于同一个桶内。
	`loss_weight`		float	否	仅 `assistant` 角色支持配置，默认 1.0，取值范围 [0.0,1.0]。