批量推理

• 文本生成模型

  • 通义千问 Max：qwen3-max、qwen-max、qwen-max-latest

  • 通义千问 Plus：qwen-plus、qwen-plus-latest

  • 通义千问 Flash：qwen-flash

  • 通义千问 Turbo：qwen-turbo、qwen-turbo-latest

  • 通义千问 Long：qwen-long、qwen-long-latest

  • QwQ：qwq-plus

  • QwQ-Preview：qwq-32b-preview

  • 第三方模型：deepseek-r1、deepseek-v3

• 多模态模型

  • 视觉理解：qwen3-vl-plus、qwen3-vl-flash、qwen-vl-max、qwen-vl-max-latest、qwen-vl-plus、qwen-vl-plus-latest

  • 文字提取：qwen-vl-ocr

  • 全模态：qwen-omni-turbo

• 文本向量模型：text-embedding-v1、text-embedding-v2、text-embedding-v3、text-embedding-v4

输入文件规范

• 文件必须为 UTF-8 编码的 JSONL 格式（每行一个独立的 JSON 对象）。

• 单个文件最多包含 50,000 个请求。

• 同一任务的批量请求务必选择同一模型，其思考模式（若支持）也须保持一致。

• 单个文件大小不超过 500 MB。

• 文件中单行的 JSON 对象大小不超过 6 MB。

• 单行的请求内容需遵循各模型上下文长度的限制。

• 每个请求对象中必须包含一个在当前任务文件内唯一的custom_id字符串，用于将输出结果与原始输入关联。

请求示例

可下载示例文件test_model.jsonl，内容为：

{"custom_id":"1","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen-max","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"你好！有什么可以帮助你的吗？"}]}}
{"custom_id":"2","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen-max","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"What is 2+2?"}]}}

步骤一：创建批量推理任务

• 在批量推理页面，单击创建批量推理任务。

• 在弹出的对话框中，上传本地准备好的 JSONL 格式文件。

• 填写完成后，单击确定提交。

步骤二：管理与查看任务

• 在任务列表页，可查看任务的进度（已处理请求数/总请求数）和状态。

• 对于执行中的任务，可在“操作”列中取消。

• 对于失败的任务，将鼠标悬停在状态上可查看文件级失败原因。详细的行级错误需下载错误文件查看。

• 根据业务空间查询

  业务空间是阿里云百炼平台中用于隔离资源、数据和权限的逻辑单元，已创建的批量推理任务会自动归属到当前所在的业务空间。可通过筛选业务空间查询批量推理任务，也可在搜索框输入任务名称或任务ID，单击图标，查询指定批量推理任务。

  各空间权限说明：

  • 全部：可查看全部业务空间的批量推理任务。

  • 默认业务空间：可查看默认业务空间的批量推理任务。

  • 子业务空间：可查看本业务空间的批量推理任务。

  

步骤三：下载并分析结果

• 对于已完成的任务，单击查看结果进入详情页。

• 在任务结果页，可下载两个文件：

  • 结果文件：包含所有成功执行的请求及其响应。使用文件中的 custom_id 字段，与原始输入文件进行匹配。

    {"id":"c308ef7f-xxx","custom_id":"1","response":{"status_code":200,"request_id":"c308ef7f-0824-9c46-96eb-73566f062426","body":{"created":1742303743,"usage":{"completion_tokens":35,"prompt_tokens":26,"total_tokens":61},"model":"qwen-max","id":"chatcmpl-c308ef7f-0824-9c46-96eb-73566f062426","choices":[{"finish_reason":"stop","index":0,"message":{"content":"你好！当然可以。无论是需要信息查询、学习资料、解决问题的方法，还是其他任何帮助，我都在这里为你提供支持。请告诉我你需要什么方面的帮助？"}}],"object":"chat.completion"}},"error":null}
    {"id":"73291560-xxx","custom_id":"2","response":{"status_code":200,"request_id":"73291560-7616-97bf-87f2-7d747bbe84fd","body":{"created":1742303743,"usage":{"completion_tokens":7,"prompt_tokens":26,"total_tokens":33},"model":"qwen-max","id":"chatcmpl-73291560-7616-97bf-87f2-7d747bbe84fd","choices":[{"finish_reason":"stop","index":0,"message":{"content":"2+2 equals 4."}}],"object":"chat.completion"}},"error":null}

  • 错误文件：包含所有执行失败的请求及其错误信息。同样，使用 custom_id 来定位是哪条原始请求出了问题，并根据 error 中的信息进行排查。