批量推理

• 支持的地域：中国大陆（北京）。

• 支持的模型：

  • 文本生成模型：通义千问 Max、Plus、Flash、Turbo、Long 的稳定版本及其 latest 版本，以及 QwQ 系列（qwq-plus、qwq-32b-preview）和部分第三方模型（deepseek-r1、deepseek-v3）。

  • 多模态模型：通义千问 VL Max、Plus的稳定版本及其 latest 版本、VL Flash 的稳定版本，以及通义千问 OCR 模型和通义千问 Omni 模型。

  • 文本向量模型：所有版本的 text-embedding 模型。

  支持的模型名称清单

  • 文本生成模型

    • 通义千问 Max：qwen3-max、qwen-max、qwen-max-latest

    • 通义千问 Plus：qwen-plus、qwen-plus-latest

    • 通义千问 Flash：qwen-flash

    • 通义千问 Turbo：qwen-turbo、qwen-turbo-latest

    • 通义千问 Long：qwen-long、qwen-long-latest

    • QwQ：qwq-plus

    • QwQ-Preview：qwq-32b-preview

    • 第三方模型：deepseek-r1、deepseek-v3

  • 多模态模型

    • 视觉理解：qwen3-vl-plus、qwen3-vl-flash、qwen-vl-max、qwen-vl-max-latest、qwen-vl-plus、qwen-vl-plus-latest

    • 文字提取：qwen-vl-ocr

    • 全模态：qwen-omni-turbo

  • 文本向量模型：text-embedding-v1、text-embedding-v2、text-embedding-v3、text-embedding-v4

步骤一：准备输入文件

创建批量推理任务前，需先准备一个符合以下规范的文件：

• 格式：UTF-8 编码的 JSONL（每行一个独立 JSON 对象）。

• 规模限制：单文件 ≤ 50,000 个请求，且 ≤ 500 MB。

  如果数据量超过此限制，建议拆分任务分别提交。

• 单行限制：每个 JSON 对象 ≤ 6 MB，且不超过模型上下文长度。

• 一致性要求：同一文件内所有请求须使用相同模型及思考模式（如适用）。

• 唯一标识：每个请求必须包含文件内唯一的 custom_id 字段，用于结果匹配。

{"custom_id":"1","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen-plus","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"你好！有什么可以帮助你的吗？"}]}}
{"custom_id":"2","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen-plus","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"What is 2+2?"}]}}

步骤二：提交并查看结果

可通过控制台或API创建并管理任务。

步骤三：查看数据统计（可选）

在模型观测页面，可筛选并查看批量推理的用量统计。

1. 查看数据概览： 选择要查询的时间范围（最长支持30天），将推理类型选为批量推理，即可查看：

   • 监控数据：显示该时间段内所有模型的汇总统计，如总调用次数、总失败次数等。

   • 模型列表：逐一列出每个模型的详细数据，如调用总量、失败率、平均调用时长等。

   

   如需查看 30 天前的推理数据，可前往账单页面查询。

2. 查看模型详情： 在模型列表中，单击目标模型右侧操作列的监控，可查看该模型的调用统计（如调用次数、调用量等）详情。

• validating（验证中）：系统正在校验上传的数据文件格式是否符合 JSONL 规范，以及文件内的每一行请求是否符合 API 格式要求。

• in_progress（执行中）：文件验证通过，系统已开始逐行处理文件中的推理请求。

• completed（已完成）：结果文件和错误文件数据已写入完成，可下载。

• failed（失败）：任务在 validating 状态失败，通常由文件级错误（如 JSONL 格式错误、文件过大）导致。此状态下，任务不会执行任何推理请求，也不会产生结果文件。

• expired（已终止）：任务因运行时间超过创建时设定的最长等待时间而被系统终止。如果任务因此失败，建议在创建新任务时设置更长的等待时间。

• cancelled（已取消）：任务已取消。任务中未开始处理的请求将被终止。