批量推理

步骤一：准备输入文件

创建任务前，准备一个符合以下规范的 JSONL 文件：

• 格式：UTF-8 编码的 JSONL（每行一个独立JSON对象）。

• 规模限制：单文件 ≤ 50,000 个请求，且 ≤ 500 MB。

  数据量超出此限制时，拆分为多个任务分别提交。

• 单行限制：每个JSON对象 ≤ 6 MB，且不超过模型上下文长度。

• 一致性要求：同一文件内所有请求须使用相同模型及思考模式（如适用）。

• 唯一标识：每个请求必须包含文件内唯一的 custom_id 字段，用于结果匹配。custom_id 最大支持 256 个字符，超过此限制将导致任务校验失败。如需回传更长的标识信息，可在创建任务时通过 metadata 的自定义字段实现，详见使用 metadata 回传自定义标识。

每个JSON对象须遵循以下字段规范：

{"custom_id":"1","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen-max","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"你好！有什么可以帮助你的吗？"}]}}
{"custom_id":"2","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen-max","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"What is 2+2?"}]}}

{"custom_id":"request-1","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen3.5-plus","enable_thinking":false,"messages":[{"role":"user","content":"你好"}]}}

{"custom_id":"request-2","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen3.5-plus","enable_thinking":true,"thinking_budget":50,"messages":[{"role":"user","content":"请分析以下问题"}]}}

步骤二：创建批量推理任务

1. 在**批量推理**页面，单击创建批量推理任务。

2. 在弹出的对话框中：填写任务名称和描述，设置最长等待时间（1–14 天），上传 JSONL 文件。

   可单击 下载示例文件 获取模板。

   

3. 填写完成后，单击确认。

步骤三：监控和管理任务

• 查看：

  • 在任务列表页，查看任务的进度（已处理请求数/总请求数）和状态。

  • 按任务名称或ID搜索，或按业务空间筛选，快速定位目标任务。

• 管理：

  • 取消："执行中"的任务可在操作列取消。

  • 排错："失败"的任务可悬停状态查看错误概要，下载错误文件查看详情。

步骤四：下载结果

任务完成后，单击查看结果，下载产出文件：

• 结果文件：记录所有成功请求及其 response 结果。

• 错误文件（如有）：记录所有失败请求及其 error 详情。

两个文件均包含 custom_id 字段，用于与原始输入数据匹配，关联结果或定位错误。

步骤五：查看用量统计（可选）

在模型用量页面，筛选并查看批量推理的用量统计。

metadata 字段说明

metadata 是创建 Batch 任务时的可选参数，支持以下字段：

• ds_name：任务名称，设置后将显示在控制台的任务名称列。

• ds_description：任务描述，设置后将显示在控制台的任务描述列。

• 自定义字段：除上述官方字段外，metadata 还支持任意自定义字段，且自定义字段的值不受 256 个字符的限制。查询任务详情时，所有自定义字段会完整回传。

代码示例

以下示例展示如何通过 metadata 的自定义字段回传超过 256 个字符的标识信息：

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
)

batch = client.batches.create(
    input_file_id="file-batch-xxxxxxxxxxxxxxxxxxxx",
    endpoint="/v1/chat/completions",
    completion_window="24h",
    metadata={
        "ds_name": "my_batch_task",
        "ds_description": "批量推理任务描述",
        "my_custom_field": "此字段的值可以超过256个字符，用于回传更长的标识信息..."
    }
)
print(batch)

任务创建成功后，通过查询任务详情接口（GET /v1/batches/{batch_id}）可获取完整的 metadata 信息，包括所有自定义字段及其完整内容。

在生产环境中，使用兼容 OpenAI 的API自动化创建和管理 Batch 任务。核心流程如下：

1. 上传文件

   调用 POST /v1/files 上传文件，记录返回的文件 ID。

2. 创建任务传入文件ID 或OSS路径，调用 POST /v1/batches 创建任务，记录返回的 batch_id。

3. 轮询状态使用 batch_id 轮询 GET /v1/batches/{batch_id}。当 status 变为 completed 时，记录 output_file_id 并停止轮询。

4. 下载结果使用 output_file_id 调用 GET /v1/files/{output_file_id}/content，下载结果文件。

• 计费单价： 所有成功请求的输入和输出 Token，单价均为对应模型实时推理价格的 50%，具体请参见模型列表。

• 计费范围：

  • 仅对任务中成功执行的请求计费。

  • 文件解析失败、任务执行失败、或行级错误请求均不产生费用。

  • 对于被取消的任务，在取消前已成功完成的请求仍正常计费。