创建及管理评估任务

前提条件

已在接入中心完成 AI 应用可观测的接入。

创建评估任务

1. 登录 AgentLoop控制台，然后选择目标工作空间。

2. 在左侧导航栏，选择评估下的评估任务。

3. 在评估列表页面，单击新建评估任务进行配置。

   • 基础配置

     参数	说明
     任务名称	必填。输入评估任务名称。任务名称不可与已有任务重复。
     任务描述	输入评估任务的描述信息，限 100 字符以内。
     数据来源	选择数据源类型： 链路（默认）：基于应用调用链数据评估。 模型日志：基于模型日志评估。 数据集：基于离线数据集评估。暂未上线。
     链路类型	数据来源为链路时必填，选择评估的链路数据层级： Span（默认）：针对调用链中的单个操作节点进行评估。 Trace：针对整条调用链路进行评估。
     过滤条件	选择链路数据来源时必填。精准锁定需要评估的数据范围（例如按服务名、属性等进行筛选）。当数据来源为链路且链路类型为 Span 时，可通过搜索栏设置筛选条件。
     Project	当数据来源为日志时，从下拉列表中选择目标 SLS Project。
     LogStore	当数据来源为日志时，从下拉列表中选择目标 LogStore。

     说明

     切换数据来源或链路类型时，如果已选择了评估器，系统会弹出确认对话框提示将清空已选评估器，确认后才会执行切换。

   • 采样配置：采样配置用于控制评估任务的数据采样策略，平衡评估覆盖度与成本。

     • 采样比例（1%-100%）：设置数据抽样比例，默认 100%，高采样率能发现长尾问题，但会增加 Token 消耗。

     • 最大样本数（1-10000）：设置单次评估的任务上限，默认 100 条。此参数是控制成本的“熔断器”。

   • 运行策略：运行策略决定评估任务的执行方式，支持两种模式，您可以同时启用以下两种模式，以覆盖不同时间维度的监控需求。

     • 模式 A：基于新数据持续评估

       • 原理：系统按固定调度间隔自动检测新产生的数据并执行打分。

       • 数据延迟 (0~60 min)：仅 Trace 类型可用。建议设置 5-10 分钟延迟，确保分布式链路数据完整采集后再开始评估。

     • 模式 B：基于历史数据评估

       • 原理：针对指定历史时间段的数据执行一次性“回溯测试”，常用于复盘或基准对比。

   • 选择评估器：评估器是执行评分的核心组件。系统提供预置评估器，也支持自定义。

     • 通用

       评估器	标识	说明
       毒性	toxicity	检测是否包含冒犯性语言。
       安全性	security	评估是否符合安全合规要求。
       完整性	completeness	评估是否覆盖必要信息。
       连贯性	coherence	评估逻辑是否通顺。

     • 工具使用

       评估器	标识	说明
       工具选择正确性	tool_call_correctness	评估是否选择了正确的工具。
       工具参数正确性	tool_param_correctness	评估工具参数是否准确。

     • RAG 评估

       评估器	标识	说明
       重复性	rag_context_duplicate	检测检索上下文是否存在冗余。
       上下文相关性	rag_context_relevance	评估检索内容与问题的匹配程度。
       答案相关性	rag_answer_relevance	评估答案是否正面回答问题。
       多样性	rag_diversity	评估生成内容的信息丰富度。

     • Agent评估

       评估器	标识	说明
       Agent 轨迹质量	agent_trajectory_quality	评估 Agent 执行轨迹的整体质量和合理性。
       Agent 工具选择合理性	agent_tool_selections_rationality	评估 Agent 在执行过程中工具选择的合理性。
       Agent 工具调用成功率	agent_tool_call_success_rate	评估 Agent 工具调用的成功率。

       说明

       针对已选中评估器，在“已选列表”中，您可以点击编辑图标，对预置评估器的 变量映射 或 过滤条件 进行微调。

4. 单击保存并运行。系统将验证配置的完整性：

   • 至少需要选择一个评估器。

   • 任务名称不可与已有任务重复（仅新建和复制时校验）。

   说明：对于已完结的评估任务（已完成、失败、已终止状态），编辑后点击"保存并运行"，会产生新的运行记录，不会覆盖历史运行记录，您可以在任务详情的运行日志中查看所有运行记录。

查看任务列表与详情

评估任务列表说明

通过评估任务列表全局掌握所有评估任务的执行状态、质量分布及成本消耗，实现对 AI 落地质量的精细化治理。

评估详情查看

评估任务详情页提供任务的全方位信息，包括任务概览统计、评分分布分析、运行日志和评估结果。您可以在此页面监控任务执行情况、分析评估效果并追溯具体评估记录。

管理评估任务

评估任务创建后，您可以对其进行全生命周期的精细化管理。包含在列表页与详情页执行启动、停止、编辑、克隆及清理操作。

操作权限与状态对照表

下表列出了各任务状态下可执行的操作：