在线推理（低优）

在线推理（低优） 通过独立的低优 TPM 配额与更优惠的价格，为时延不敏感的场景提供尽力而为的推理服务。在请求中指定 service_tier=flex，即可使用低优资源进行推理。

主要优势#

更低价格：在线推理（低优）的 Input / Output Token 单价约为在线推理（常规）的 50%。Cached Input Token 单价与在线推理（常规）保持一致。
独立配额 + 闲时段增益：在线推理（低优）拥有账号 × 模型维度独立的 TPM 配额，且支持在闲时段申请更高的额度。
零改造迁移：与常规（default）档位使用同一套 Chat / Responses / Messages API 与同一批推理接入点，仅需在请求中新增 service_tier=flex，无需另建接入点或维护独立调用链。
与批量推理互补：适合无法改造为任务式 Batch Job（例如：客户端数据流无法上传 TOS）的批量刷数场景，可通过同步 API 承接。

适用场景#

后台 Agent、非关键在线链路：延迟不敏感，可接受分钟级排队与高峰期超时失败，愿意用等待换价格。
大批量刷数与评测：模型评测、数据增强、离线打标、数据回流等可批量重试的任务。
闲时消费：可申请闲时段更高限流额度，运行成本敏感型批量任务。

支持范围#

支持模型#

支持以下模型版本，实际可用范围以控制台及接口返回为准。

deepseek-v4-pro-ga-260813
deepseek-v4-flash-ga-260731
doubao-seed-2-1-pro-260628
doubao-seed-2-1-turbo-260628

doubao-seed-2-0-lite-260428

支持 API#

支持推理接入点#

在线推理预置推理接入点
在线推理自定义推理接入点

使用流程#

准备工作#

开通服务及获取 API Key

开通模型：在开通管理页面，选择目标模型，在操作列，开通模型服务。
在 API Key 管理页，创建/获取 API Key，并将其配置为环境变量 ARK_API_KEY（详情参见环境变量配置指南）。

可通过以下任一方式使用在线推理（低优）。

方式一：在 API 请求中指定服务档位#

预置推理接入点和自定义推理接入点均支持此方式，适合在同一推理接入点上按请求切换服务档位。

使用预置推理接入点，通过 Model ID 调用即可。
使用自定义推理接入点，请先创建推理接入点，并获取 Endpoint ID。

配置 service_tier 为 flex。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17import os
from arkruntime import Ark

client = Ark(
    api_key=os.environ.get("ARK_API_KEY"),
    # The base URL for model invocation
    base_url="https://ark.cn-beijing.volces.com/api/v3",
    )
completion = client.chat.completions.create(
    # 自定义推理接入点需配置为 Endpoint ID
    model="doubao-seed-2-1-pro-260628",
    messages=[
        {"role": "user", "content": "Hello"},
    ],
    service_tier="flex", # 默认 auto，需手动配置为 flex。
)
print(completion.choices[0].message)

配置 service_tier 为 flex。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16import os
from arkruntime import Ark

client = Ark(
    api_key=os.environ.get("ARK_API_KEY"),
    # The base URL for model invocation
    base_url="https://ark.cn-beijing.volces.com/api/v3",
    )

response = client.responses.create(
    # 自定义推理接入点需配置为 Endpoint ID
    model="doubao-seed-2-1-pro-260628",
    input="hello",
    service_tier="flex", # 默认 auto，需手动配置为 flex。
)
print(response)

配置 service_tier 为 flex。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22import os
import requests

response = requests.post(
    "https://ark.cn-beijing.volces.com/api/compatible/v1/messages",
    headers={
        "Authorization": f"Bearer {os.environ['ARK_API_KEY']}",
        "Content-Type": "application/json",
    },
    json={
        # 自定义推理接入点需配置为 Endpoint ID
        "model": "doubao-seed-2-1-pro-260628",
        "max_tokens": 1024,
        "messages": [
            {"role": "user", "content": "Hello"},
        ],
        "service_tier": "flex",  # 默认 default，需手动配置为 flex。
    },
    timeout=1800,
)
response.raise_for_status()
print(response.json())

方式二：在推理接入点配置默认服务档位#

仅自定义推理接入点支持此方式，适合整条业务链路默认使用在线推理（低优）、但不希望修改调用代码的场景。

创建推理接入点，找到 默认参数 配置，将 service_tier 配置为 flex。
保存配置后，通过该推理接入点的 Endpoint ID 调用模型。未显式传入 service_tier 的请求默认使用在线推理（低优）。

计费说明#

token 价格#

在线推理（低优）的 Input / Output Token 单价约为 default 档位的 50%，具体价格以对应模型的定价为准，参见在线推理（低优）。

token 统计口径#

限流单位为 TPM（Tokens Per Minute），不拆分输入/输出。
不同输入长度区间的单价差异以对应模型的按 token 定价为准。
响应回显实际处理档位（response_service_tier），实际计费以响应回显档位为准。

限流说明#

限流粒度#

在线推理（低优）与在线推理（常规）、在线推理（低延迟）的 TPM 限流相互独立，使用在线推理（低优）不会消耗常规或低延迟的 TPM 配额。
在线推理（低优）的限流配额由推理接入点共享，即主账号下同模型的推理接入点共享在线推理（低优）的 TPM 限流配额。可在推理接入点详情页为推理接入点单独配置在线推理（低优）的 TPM 限流（默认不设限制，各接入点均可占满全部限流配额）。

限流值#

可在开通管理页面 > 语言模型 > 模型级别限流 查询该模型的在线推理（低优）默认配额和闲时配额。

默认配额：在线推理（低优）拥有独立的账号 × 模型维度 TPM 基础配额（7×24 小时生效），可在开通管理页面 > 语言模型 > 模型级别限流处查询默认配额。
申请闲时配额：如有需求，支持提交工单申请闲时（例如 24:00-08:00）更高的 TPM 配额。

排队与超限#

未超过 TPM 配额的请求由平台根据空闲算力进行调度。服务端最长等待时间为 20 分钟，超时后返回错误且不计费。
flex 的 TPM 配额是准入上限而非保障容量，超出配额上限的请求会被限流，并返回 HTTP 429 状态码。

服务保障与运行表现#

在线推理（低优）为尽力而为型服务，不承诺 TTFT、TPOT、成功率或完成时间等 SLA 指标。
平台根据空闲算力调度请求，服务延迟和可用性会随资源负载波动。高峰时段排队时间可能增加，闲时的可用性通常有所提升。
当 default 档位流量占用资源时，在线推理（低优）请求的准入优先级会降低；极端情况下，执行中的请求可能中断。客户端应根据错误码实施重试。
当请求超出配额、服务过载或模型不支持 flex 时，平台均不会将请求自动切换至 default 档位。如需切换，应由客户端显式调整 service_tier 后重试。

最佳实践#

使用流式输出#

推荐使用流式输出，以便逐步接收生成结果，并及时感知连接状态。

合理配置超时#

平台服务端最长等待时间为 20 分钟。X-Ark-Max-Wait-Timeout-Ms 用于设置请求在服务端等待资源的最长时间，单位为毫秒（ms）。客户端和中间网关的总超时时间应覆盖服务端等待、模型生成和网络传输所需时间。

配置	作用	建议
`X-Ark-Max-Wait-Timeout-Ms`	请求在服务端等待资源的最长时间，单位为毫秒（ms）	根据业务时限设置，不得超过 20 分钟
SDK / HTTP Client Timeout	单次调用从发出请求到接收完成的总超时时间	应大于服务端等待时间、预计最长生成时间与网络余量之和，建议默认设置为 30 分钟

例如，业务最多允许等待 10 分钟，预计最长生成时间为 3 分钟，则可将 X-Ark-Max-Wait-Timeout-Ms 设置为 600000，并将客户端和中间网关的总超时时间设置为至少 14～15 分钟。若业务最多允许等待 2 分钟，应将该请求头设置为 120000，无需沿用平台上限。

按错误类型重试#

ServerOverloaded 等临时容量错误：采用指数退避并加入随机抖动，同时限制最大重试次数和总重试时长。
TooManyRequests.ModelAccountFlexTpmRateLimitExceeded 或 TooManyRequests.RateLimitExceeded.EndpointFlexTPMExceeded：不要立即重试，应降低并发、等待配额窗口恢复或申请提升配额。
InvalidParameter.UnsupportedParameter：属于参数或模型能力问题，不应重试。请检查请求参数，并确认当前模型版本是否支持在线推理（低优）。

配置客户端兜底策略#

对于必须完成的少量请求，可由客户端根据成本和时效要求，去掉 service_tier 或将其设置为 auto 后重新提交。平台不会自动将 flex 请求切换至 default 档位。

监控与告警#

控制台展示推理接入点调用数据，入口：在线推理 > 接入点详情页（点击接入点名称进入）> 监控页签。
用户看板支持按 scale、fast、default 和 flex 四个档位拆分展示。建议重点关注以下指标（以控制台与监控面板实际展示为准）：

在线推理（低优）的 TPM、RPM 用量、错误率
在线推理（低优）的 TTFT、TPOT、端到端延迟分位

使用限制#

在线推理（低优）不支持：

精调模型与分支模型
显示缓存
批量推理接入点（ep-bi-*）
协作奖励计划采集
Agent / Coding Plan

错误码#

请参见错误码。

常见问题#