CreateEvaluationTask - 创建评估任务-Agent 观测与优化 AgentLoop(AgentLoop)-阿里云帮助中心

创建评估任务。

接口说明

调用 CreateEvaluationTask 在指定 AgentSpace 下创建评估任务。服务端会校验 AgentSpace 权限、初始化评估结果存储、检查任务名称唯一性，并根据 taskMode 与 runStrategies 异步创建和执行 EvaluationRun。

该接口适用于对 Trace、Dataset 或 SLS Log 数据运行内置或自定义评估器，支持历史回填和持续评估两类执行策略。

调试

您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。

调试

授权信息

下表是API对应的授权信息，可以在RAM权限策略语句的Action元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：

操作：是指具体的权限点。
访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。
资源类型：是指操作中支持授权的资源类型。具体说明如下：
- 对于必选的资源类型，用前面加 * 表示。
- 对于不支持资源级授权的操作，用全部资源表示。
条件关键字：是指云产品自身定义的条件关键字。
关联操作：是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限，操作才能成功。

操作

访问级别

资源类型

条件关键字

关联操作

agentloop:CreateEvaluationTask

create

*Workspace

acs:agentloop:{#regionId}:{#accountId}:agentspace/{#AgentSpaceName}

无

请求语法

POST /api/v1/evaluation-task/{agentSpace} HTTP/1.1

路径参数

名称	类型	必填	描述	示例值
agentSpace	string	否	AgentSpace 名称。	prod-agentspace

请求参数

名称	类型	必填	描述	示例值
body	object	否	请求体。	{"taskName":"trace_task_completion_eval","taskMode":"batch","dataType":"trace","evaluators":[{"evaluatorRef":"Builtin.agent_task_completion","resultName":"agent_task_completion","resultType":"score","variableMapping":{"input":"trace.input","output":"trace.output","agent_trajectory":"trace.agent_trajectory"}}],"config":{"dataScope":"trace"}}
channel	string	否	任务来源。未传时后端默认为 `default`。枚举值： default : default	default
config	object	否	数据源和执行配置。`dataType=trace` 时后端自动补齐 SLS Project 和 `storeName=logstore-tracing`；链路级 Trace 评估建议传 `dataScope=trace`。	{"dataScope":"trace"}
	string	否	单个配置项的值，键名由具体字段约定决定。	trace
dataFilter	string	否	评估数据筛选条件，支持 JSON 对象或 JSON 字符串。常用字段包括 `query`、`provided`、`maxRecords`、`samplingRate`。	{"query":"serviceName='checkout-service'","maxRecords":10,"samplingRate":100}
dataType	string	否	评估对象的数据来源类型。链路 Trace 评估使用 `trace`。枚举值： trace : trace log : log atif : atif dataset : dataset	trace
description	string	否	评估任务描述。	评估线上 Agent 链路任务完成度
evaluators	array	否	评估器配置列表，不能为空。同一任务内以 `evaluatorRef` 优先，否则以 `name` 作为唯一标识。	[{"evaluatorRef":"Builtin.agent_task_completion","resultName":"agent_task_completion","resultType":"score","variableMapping":{"input":"trace.input","output":"trace.output","agent_trajectory":"trace.agent_trajectory"}}]
	Evaluator	否	单个评估器配置对象。
runStrategies	RunStrategies	否	任务执行策略，支持 JSON 对象或 JSON 字符串。`backfill` 用于历史数据回填，`continuous` 用于持续评估新增数据。
tags	object	否	任务标签键值对。默认无需传递；仅在需要按业务标签关联或过滤任务时传入。	{"env":"prod","serviceId":"checkout-service","planId":"plan-20260703"}
	string	否	单个任务标签值，键名按业务维度自定义。	prod
taskMode	string	否	评估任务模式。`batch` 创建持久评估任务。枚举值： batch : batch	batch
taskName	string	否	任务名称，同一用户同一 AgentSpace 下不能与未删除任务重名，长度不超过 256 字符。	trace_task_completion_eval
clientToken	string	否	幂等 Token。CloudSpec 声明了该查询参数，当前后端未做幂等比对。	a1b2c3d4-1234-5678-90ab-cdef12345678

返回参数

名称	类型	描述	示例值
	object	Schema of Response
requestId	string	请求 ID。	3FE4CD1E-FF41-56BE-B590-7A021D9C1524
status	string	评估任务状态。创建后通常为 `Pending`，异步编排后可能进入 `Running` 或 `Scheduling`。枚举值： Failed : Failed Running : Running Completed : Completed Scheduling : Scheduling Deleted : Deleted Terminated : Terminated Pending : Pending	Pending
taskId	string	评估任务 ID。	eval-task-8b36f2e2b1f94f9c91ce7a4b0f6d9c25

示例

正常返回示例

JSON格式

{
  "requestId": "3FE4CD1E-FF41-56BE-B590-7A021D9C1524",
  "status": "Pending",
  "taskId": "eval-task-8b36f2e2b1f94f9c91ce7a4b0f6d9c25"
}

错误码

访问错误中心查看更多错误码。

变更历史

更多信息，参考变更详情。