本产品（
PAI大模型链路追踪评估/2024-03-11）的OpenAPI采用ROA签名风格，签名细节参见签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过下载SDK直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，可通过签名机制进行自签名对接。由于自签名细节非常复杂，需花费 5个工作日左右。因此建议加入我们的服务钉钉群（78410016550），在专家指导下进行签名对接。在使用API前，您需要准备好身份账号及访问密钥（AccessKey），才能有效通过客户端工具（SDK、CLI等）访问API。细节请参见获取AccessKey。
评估单条链路数据
| API | 标题 | API概述 |
|---|---|---|
| EvaluateTrace | 评估一条指定的链路数据。 | 评估一条指定的trace数据。 |
链路评估任务
| API | 标题 | API概述 |
|---|---|---|
| DeleteOnlineEvalTask | 删除一个链路评估任务。 | 删除一个链路评估任务。 |
| GetEvaluationTemplates | 获取链路评估系统内部使用的模版 | 链路评估系统通过和大模型交互、来生成对用户应用的评估结果。评估系统和大模型交互时，需要构造特定的提问提交给大模型。这些问题会基于评估系统内部定义的一些模板构造。这个API返回这些评估系统内部预设模板，供调用者参考和理解。 |
| GetOnlineEvalTask | 获取一个链路评估任务的详细信息。 | 获取指定链路评估任务的详细信息，包括名称、评估模型配置，起止时间等信息。 |
| ListOnlineEvalTaskResults | 获取一个链路评估任务的结果列表 | 获取链路评估任务的结果列表。 |
| ListOnlineEvalTasks | 获取链路评估任务列表。 | 查找符合条件的链路评估任务。 |
| StopOnlineEvalTask | 停止一个链路评估任务。 | 停止一个链路评估任务的执行。任务停止后，不能再做任何配置改动，任务也不会再生成任何新的评估结果。 |
| UpdateOnlineEvalTask | 更改一个链路评估任务的配置。 | 更改一个链路评估任务的配置。 |
| CreateOnlineEvalTask | 创建一个链路评估任务。 | 创建一个链路评估任务。系统会根据任务配置，从用户的链路数据里采样部分数据，用大模型对这些链路的执行效果做评估，并记录评估结果。 |
链路追踪
| API | 标题 | API概述 |
|---|---|---|
| ListTracesDatas | 按照条件查找链路 | 每条链路数据记录，可以命名为trace。一个trace包含了一组span记录。这个API以trace为粒度执行搜索，按照指定条件获取trace数据列表。 |
其他
| API | 标题 | API概述 |
|---|---|---|
| CreateServiceIdentityRole | 创建服务关联角色。 | 创建PaiLLMTrace服务需要使用的服务关联角色。 |
| GetServiceIdentityRole | 获取服务关联角色。 | 获取服务关联角色相关信息。 |
| GetXtraceToken | 获取Xtrace服务的Token。 | 获取Xtrace服务中所使用的token，以及上传trace数据所需要的endpoint。 |