ListOnlineEvalTasks - 获取链路评估任务列表。

查找符合条件的链路评估任务。

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

授权信息

下表是API对应的授权信息,可以在RAM权限策略语句的Action元素中使用,用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下:

  • 操作:是指具体的权限点。
  • 访问级别:是指每个操作的访问级别,取值为写入(Write)、读取(Read)或列出(List)。
  • 资源类型:是指操作中支持授权的资源类型。具体说明如下:
    • 对于必选的资源类型,用前面加 * 表示。
    • 对于不支持资源级授权的操作,用全部资源表示。
  • 条件关键字:是指云产品自身定义的条件关键字。
  • 关联操作:是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限,操作才能成功。
操作访问级别资源类型条件关键字关联操作
paillmtrace:ListOnlineEvalTaskslist
*OnlineEvaluation
acs:paillmtrace:{#regionId}:{#accountId}:onlineevaluation/*

请求语法

GET /api/v1/PAILLMTrace/onlineevaltasks HTTP/1.1

请求参数

名称类型必填描述示例值
MinTimestring

搜索时间范围的 UTC 开始时间

2025-04-05 13:24:25 2025-04-05
MaxTimestring

搜索时间范围的 UTC 截止时间

2025-04-07 13:24:25 2025-04-07
PageNumberinteger

当前页数。取值范围:大于 0 的整数。默认值:1。

1
PageSizeinteger

分页大小,默认为 10,最大为 50。

50
AppNamestring

用户应用在链路数据里记录的名称。完全匹配。

my-foo-llm-app-1.0
Statusstring

任务状态。完全匹配。

CREATED RUNNING FINISHED USER_CANCELED
Keywordstring

搜索关键字。会在任务名称、任务 id、任务描述这些字段上模糊匹配。

foo
SamplingMethodstring

任务数据采样方式。窗口或者概率。精确匹配。

Window Ratio
SortBystring

用于排序返回结果的字段,目前支持 TaskId, CreateTime,TaskName,和 Status。不填则默认用 CreateTime

CreateTime Status TaskId TaskName
SortOrderstring

返回结果的排序方向。取值范围:ASC(升序)、DESC(降序)。不填则默认用 DESC。

ASC DESC

返回参数

名称类型描述示例值
object

Schema of Response

RequestIdstring

Id of the request

6F352A02-9C0D-54A7-B57C-663CF71D5714
Codestring

内部错误码。只在响应出错时被设置。

InvalidInputParams
Messagestring

响应错误信息。只在响应出错时被设置。

page number should be greater than 0
TotalCountinteger

符合条件的任务的总数。

22
Tasksarray<object>

任务列表。

tasksobject

任务的详细信息。

Idstring

任务 ID。

9f50cd72efcf36535152ee811a911115
Namestring

任务名称。

my-foo-evaluation-task
AliyunUidstring

任务创建者的阿里云账号(主账号)。

1512522691911111
UserIdstring

任务创建者的阿里云子账号

2222222222
AppNamestring

该任务针对的用户应用的名称。

my-llm-app
Filtersarray<object>

评估任务要搜索一定量的用户应用产生的链路数据,作为评估操作的输入数据。这是定义搜索筛选条件的列表。

filtersobject

过滤条件对象。

Keystring

过滤条件的 key。

枚举值:
  • StatusStatus
  • SpanNameSpanName
  • InputInput
  • TraceTypeTraceType
  • SpanTypeSpanType
  • ServiceNameServiceName
  • OutputOutput
  • TraceNameTraceName
  • ServiceIdServiceId
ServiceId ServiceName Input Output Status TraceType SpanType TraceName SpanName
Operatorstring

过滤条件匹配操作符。

枚举值:
  • ContainsContains
  • ==
  • StartsWithStartsWith
= StartsWith Contains
Valuestring

过滤条件的值。

foo
GmtCreateTimestring

任务 UTC 创建时间。

2025-04-07 13:24:35
GmtStartTimestring

任务 UTC 开始时间。

2025-04-08 13:24:35
GmtEndTimestring

任务 UTC 结束时间。

2025-04-09 13:24:35
SamplingFrequencyMinutesinteger

评估任务要搜索一定量的用户应用产生的链路数据,作为评估操作的输入数据。这是定义任务每次搜索输入数据的时间窗口的宽度。

12
SamplingRatiointeger

评估任务在一个时间窗口里搜索到的数据,真正作为评估输入数据的百分比。比如 100 表示搜索到的所有数据都作为评估输入。又比如 20 表示从搜索到的数据里随机取 20%作为评估输入。

50
Descriptionstring

任务描述信息

评估任务
Statusstring

任务状态

CREATED RUNNING FINISHED USER_CANCELED
EvaluationConfigEvaluationConfig

从 json 格式的链路数据里要一些提取特定路径上的值,作为评估操作的输入。在这个 EvaluationConfig 结构体里定义这些 json 路径。

ModelConfigModelConfig

评估任务内部使用的大模型的访问配置结构体。

RecordCountinteger

评估记录数量。

11
EvalResultsstring

从该任务所有的评估结果,通过聚合计算得到的聚合评估结果。

[{"task_id": "00000", "result_type": "HasValidEvalResult", "record_count": 8, "faithfulness": 0.5, "correctness": 0.5, "ndcg": null, "mrr": null, "hit_rate": null, "precision": null}, {"task_id": "00000", "result_type": "FailedToExtractQCA", "record_count": 3, "faithfulness": 0.0, "correctness": 0.0, "ndcg": null, "mrr": null, "hit_rate": null, "precision": null}]

示例

正常返回示例

JSON格式

{
  "RequestId": "6F352A02-9C0D-54A7-B57C-663CF71D5714",
  "Code": "InvalidInputParams",
  "Message": "page number should be greater than 0",
  "TotalCount": 22,
  "Tasks": [
    {
      "Id": "9f50cd72efcf36535152ee811a911115",
      "Name": "my-foo-evaluation-task",
      "AliyunUid": 1512522691911111,
      "UserId": 2222222222,
      "AppName": "my-llm-app",
      "Filters": [
        {
          "Key": "ServiceId\nServiceName\nInput\nOutput\nStatus\nTraceType\nSpanType\nTraceName\nSpanName",
          "Operator": "=\nStartsWith\nContains",
          "Value": "foo"
        }
      ],
      "GmtCreateTime": "2025-04-07 13:24:35",
      "GmtStartTime": "2025-04-08 13:24:35",
      "GmtEndTime": "2025-04-09 13:24:35",
      "SamplingFrequencyMinutes": 12,
      "SamplingRatio": 50,
      "Description": "评估任务",
      "Status": "CREATED\nRUNNING\nFINISHED\nUSER_CANCELED",
      "EvaluationConfig": {
        "Context": {
          "JsonPathInSpan": "attributes.retrieval.documents[*].document.content",
          "SpanName": "retrieve",
          "JsonPathInSpanValue": "message/value"
        },
        "Answer": {
          "JsonPathInSpan": "attributes.output.value",
          "SpanName": "query",
          "JsonPathInSpanValue": "message/value"
        },
        "Query": {
          "JsonPathInSpan": "attributes.input.value",
          "SpanName": "query",
          "JsonPathInSpanValue": "message/value"
        }
      },
      "ModelConfig": {
        "Temperature": 0.1,
        "ApiKey": "lRQ6ny2BP1g73fsgf9O+Hr4DEedezQ",
        "Endpoint": "https://aiservice.cn-hangzhou.aliyuncs.com/v1",
        "UseFunctionCall": true,
        "TopP": 0.9,
        "Name": "pai-judge\nthemis\nqwen\ngpt",
        "IsSelfHost": true
      },
      "RecordCount": 11,
      "EvalResults": [
        {
          "task_id": "00000",
          "result_type": "HasValidEvalResult",
          "record_count": 8,
          "faithfulness": 0.5,
          "correctness": 0.5,
          "ndcg": null,
          "mrr": null,
          "hit_rate": null,
          "precision": null
        },
        {
          "task_id": "00000",
          "result_type": "FailedToExtractQCA",
          "record_count": 3,
          "faithfulness": 0,
          "correctness": 0,
          "ndcg": null,
          "mrr": null,
          "hit_rate": null,
          "precision": null
        }
      ]
    }
  ]
}

错误码

访问错误中心查看更多错误码。