CreateOnlineEvalTask - 创建一个链路评估任务。_人工智能平台 PAI(PAI)-阿里云帮助中心

创建一个链路评估任务。系统会根据任务配置，从用户的链路数据里采样部分数据，用大模型对这些链路的执行效果做评估，并记录评估结果。

调试

您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。

授权信息

下表是API对应的授权信息，可以在RAM权限策略语句的Action元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：

操作：是指具体的权限点。
访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。
资源类型：是指操作中支持授权的资源类型。具体说明如下：
- 对于必选的资源类型，用前面加 * 表示。
- 对于不支持资源级授权的操作，用全部资源表示。
条件关键字：是指云产品自身定义的条件关键字。
关联操作：是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限，操作才能成功。

操作	访问级别	资源类型	条件关键字	关联操作
paillmtrace:CreateOnlineEvalTask	create	OnlineEvaluation `acs:paillmtrace:{#regionId}:{#accountId}:onlineevaluation/`	无	无

请求语法

POST /api/v1/PAILLMTrace/onlineevaltasks HTTP/1.1

请求参数

名称	类型	必填	描述	示例值
body	object	否	请求 Body。
TaskName	string	否	任务名称。	my-llm-app-eval-task-1
AppName	string	否	用户应用在链路数据里记录的名称	my-best-llm-app
StartTime	string	否	链路数据的 UTC 开始时间	2025-04-05 14:00:01 2025-04-05
EndTime	string	否	链路数据的 UTC 结束时间	2025-06-05 14:00:01 2025-06-05
SamplingFrequencyMinutes	integer	否	评估任务要搜索一定量的用户应用产生的链路数据，作为评估操作的输入数据。这是定义任务每次搜索输入数据的时间窗口的宽度。	9
Description	string	否	任务描述信息	4月到6月数据评估
Filters	array<object>	否	评估任务要搜索一定量的用户应用产生的链路数据，作为评估操作的输入数据。这是定义搜索筛选条件的列表。
	object	否	过滤条件对象。
Key	string	否	过滤条件的 key 枚举值： Status：Status。 SpanName：SpanName。 Input：Input。 TraceType：TraceType。 SpanType：SpanType。 ServiceName：ServiceName。 Output：Output。 TraceName：TraceName。 ServiceId：ServiceId。	ServiceId ServiceName Input Output Status TraceType SpanType TraceName SpanName
Operator	string	否	过滤条件匹配操作符枚举值： Contains：Contains。 =：=。 StartsWith：StartsWith。	= StartsWith Contains
Value	string	否	过滤条件的值	foo
SamplingRatio	integer	否	评估任务在一个时间窗口里搜索到的数据，真正作为评估输入数据的百分比。比如 100 表示搜索到的所有数据都作为评估输入。又比如 20 表示从搜索到的数据里随机取 20%作为评估输入。	50
EvaluationConfig	EvaluationConfig	否	从 json 格式的链路数据里要一些提取特定路径上的值，作为评估操作的输入。在这个 EvaluationConfig 结构体里定义这些 json 路径。
ModelConfig	ModelConfig	否	评估任务内部使用的大模型的访问配置结构体。

返回参数

名称	类型	描述	示例值
	object	Schema of Response
RequestId	string	Id of the request	6A87228C-969A-1381-98CF-AE07AE630FA5
TaskId	string	新创建的链路评估任务的 id。	711ef9112343286810abbfce04e161ee
Code	string	内部错误码。只在响应出错时被设置。	InvalidInputParams
Message	string	响应错误信息。只在响应出错时被设置。	EvaluationConfig.Answer.SpanName is required.

示例

正常返回示例

JSON格式

{
  "RequestId": "6A87228C-969A-1381-98CF-AE07AE630FA5",
  "TaskId": "711ef9112343286810abbfce04e161ee",
  "Code": "InvalidInputParams",
  "Message": "EvaluationConfig.Answer.SpanName is required."
}

错误码

访问错误中心查看更多错误码。