# Doubao-embedding-vision

> 豆包多模态向量化大模型，支持图片、中英双语文本输入

- 模型 ID：`doubao-embedding-vision`
- 厂商：字节跳动
- 主版本：251215
- 任务类型：ImageEmbedding、MultimodalEmbedding、TextEmbedding
- 更新时间：2026-10-08T15:44:39Z
- 模型详情页：https://ark.volcengine.com/region:cn-beijing/model/detail?Id=doubao-embedding-vision

Doubao-embedding-vision，新版本Seed-1.6-embedding图文多模态向量化模型全新上线，主要面向图文多模向量检索的使用场景，支持图片输入及中、英双语文本输入，最长 8K 上下文长度。

## Doubao Embedding Vision 介绍
Doubao-embedding-vision，图文多模态向量化模型。新版本 **Seed-1.6-embedding** 全新上线（0615版本），面向文本、图片、视频等多模态内容向量检索的使用场景，支持中、英双语，最大128K tokens输入。
## 计费方式
- 按输入的图片tokens、文本tokens，分别计费
    - 文本输入：0.0007元/千 tokens
    - 图片输入：0.0018元/千 tokens

## Seed-1.6-Embedding
### 模型说明
**Seed-1.6-Embedding** 是字节跳动豆包大模型团队推出的最新全模态向量化模型。该模型在效果和模态能力上进一步升级，首次引入了 视频向量化能力，为多模态搜索与理解提供更深层次的表达支持，是所有向量化场景下的最佳模型之选。在纯文本权威测评榜单 MTEB 上，Seed1.6-Embedding 达到了中文 SOTA 效果。在多模态测评榜单MMEBv2上，Seed1.6-embedding在图片、视频任务上都达到了SOTA的效果。
##### **全面任务领先**
- 在图文检索任务中，Seed1.6-Embedding 的图文模态下的理解能力进一步提升，同时延续了上一代模型的SOTA表现，在语义匹配（STS）等通用向量化任务中也取得领先成绩，具备更强的跨任务泛化能力。
##### **全模态混合检索**
- 首次引入视频向量化能力，支持对人物、动作、场景等核心语义特征的统一建模，兼容多帧图像输入作为视频替代方案，进一步拓展输入形态。
- 同时，Seed1.6-Embedding 实现了文本、图像、视频等多模态的混合输入融合建模，在跨模态搜索、内容理解、多模态Agent等场景中提供了更灵活的表达能力，为业界首发支持混合模态检索能力的 embedding 模型。
##### **自定义指令能力增强**
- 模型全面提升了指令理解与响应能力，支持用户通过定制化指令模板引导向量生成表达，使 embedding 表达更加贴合具体业务目标，在真实业务落地时能提供中能更低成本提升场景效果。

### 模型特性
- Seed1.6-Embedding 支持文本、图像、视频三种模态的任意混合输入，但常用且效果最好的场景如下：
  - t2t/文搜文：基于文本描述搜索内容，通常用RAG和文本搜索场景
  - t2i/文搜图：基于文本描述搜索语义相近的图像，通常用于图库和电商场景
  - i2i/图搜图：基于图片内容搜索表达相似的图像，通常用于图库和电商场景
  - t2i&t/文搜文图：基于文本去搜索图片和文本混合的内容，通常用于电商和RAG场景
  - t2v/文搜视频：基于文本描述去搜索符合描述语义的视频内容，通常用于安防、广告、泛互的视频搜索场景
- 支持Instruction能力：Instruction信息通过文本模态输入
- 向量维度：2048，1024；默认2048维，支持传入dimensions参数降维1024使用
- 上下文限制：128k
- 图像限制：格式支持JPEG、PNG、WEBP、BMP、TIFF、ICO、DIB、ICNS、SGI、JPEG2000等，边长： [10, 6000] px，即短边像素需大于 10 px，长边像素需小于6000 px。
- 视频限制：单视频文件需在 50MB 以内，支持MP4、AVI、MOV格式，暂不支持对视频文件中的音频信息进行理解。
- 视频支持指定FPS：支持控制从视频中抽取图像的帧率，支持配置0.2-5。
### 1215版本说明
- 多向量输出: 支持多向量输出，可显著提升复杂检索（retrieval）任务的性能表现；
- SOTA性能: 在多模态领域实现突破，于 MMEB-v2 权威榜单中取得 SOTA（State-of-the-Art）成绩，尤其在视频与可视化文档（visdoc）任务上效果大幅提升；同时在代码检索场景中，于 MTEB-Code 榜单斩获 SOTA 指标；
- 多语言能力提升: 强化多语言处理能力，在 MTEB 多语言榜单中的综合表现得到显著提升。

### 历史版本说明
- 支持图片输入、中英双语文本输入
- 检索性能提升显著，模型采用能力更强的doubao大语言模型基座，具备更强大的语言理解能力
- 版本说明
    - 250328：向量维度2048维，输出向量已归一化，支持降维1024维使用
    - 241215：向量维度3072维，不支持降维使用
### 请求示例
```bash
curl --location 'https://ark.cn-beijing.volces.com/api/v3/embeddings/multimodal' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer $ARK_API_KEY \
--data '{
    "model": "doubao-embedding-vision-251215",
    "instructions":"Target_modality: text and video.\nInstruction:Compress the text/video into one word.\nQuery:",
    "input": [
        {
            "type":"text",
            "text":"十字花科植物是一类广泛分布的植物，包含许多重要的蔬菜、油料作物和观赏植物。"
        }
    ],
    "dimensions": 1024,
    "multi_embedding": {
        "type":"enabled"
    },
    "sparse_embedding": {
        "type":"enabled"
    },
    "encoding_format":"float"
}'

```
## 相关协议
- 豆包模型服务协议：https://www.volcengine.com/docs/82379/1142195
- 火山方舟平台免责声明和服务体验规则说明：https://www.volcengine.com/docs/82379/1108564