推理方式概述

火山方舟按照业务场景、资源优先级支持多种模型推理方式，本文介绍各种推理方式的特点，方便用户进行选型。

推理方式对比#

选择建议#

• 一般业务场景，选择 在线推理（常规）即可，不调用不计费。
• 对交互延迟敏感，推荐使用在线推理（低延迟）。
• 对时延不敏感，可接受等待或失败重试，希望降低批量及后台任务成本，推荐使用在线推理（低优）。
• 企业级用户，需要更强的资源确定性保障（如更高可用性承诺、固定吞吐保障），推荐使用在线推理（TPM 保障包）。
• 企业级用户，希望独占算力资源，实现低成本高性能的大规模在线推理，推荐使用模型单元，请参见模型单元概述。
• 如需由平台托管并完成整批任务，且可接受较长完成时间，推荐使用 批量推理 Batch Job，适合超大规模刷数以及需要任务状态、结果文件和失败恢复的场景。
• 没有明确使用的模型，希望按照成本/性能等选择最优模型，推荐使用智能模型路由。
• 已在 MLP（火山机器学习平台） 部署模型服务，希望通过火山方舟平台统一调用，请参见使用 MLP 推理服务。
• 部署自定义模型，请参见 使用自定义模型进行推理。

附：推理接入点介绍#

推理接入点是用户调用模型进行推理的入口。按照类型分为：

• 预置推理接入点：当用户凭借 Model ID 调用火山方舟模型时，系统会自动匹配对应模型的预置推理服务；若不存在，则自动创建。适合新手使用、功能测试或轻量级使用场景。
• 自定义推理接入点：由用户主动创建。所有在线推理方式，均通过自定义推理接入点来接入。功能更强大，适合各种业务场景。