创建及管理评估任务

云监控2.0支持对大模型的输入输出、Agenttool调用等文本内容进行评估,即通过系统化的方法,从多维角度对大模型的输出、行为和效果进行动态监测和分析。您可以创建评估任务,管理评估任务列表。

前提条件

已在接入中心完成AI 应用可观测的接入。

创建评估任务

  1. 登录云监控2.0控制台,然后选择目标工作空间。

  2. 在左侧导航栏选择应用中心 > AI 应用可观测,然后在左侧菜单中单击评估 > 评估列表

  3. 评估列表页面,单击创建评估任务,然后参考下表配置参数。

    参数名称

    说明

    Project

    请确认Project是否正确。

    Logstore

    请确认Logstore是否正确。

    评估模板

    必选。不同的评估模板对应不同的评估任务。

    任务ID

    自动生成。

    过滤语句

    必填。表示从trace中选择哪些数据做评估,评估所有任务请输入*

    结果预览

    保存前请先单击预览通过校验。

  4. 单击创建,即可生成评估任务。

    评估任务创建成功后,会在目标SLS Project中创建出定时SQL任务,周期性查询日志库中的数据,根据评估任务中内置的评估模板计算查询到的日志数据的评估分数。目标Project管理评估任务列表

管理评估任务列表

评估列表页面,可以查看所有的在运行的评估任务。在评估列表中,您可以:

  • 单击查看,将跳转到评估的定时任务。在定时任务详情页面,您可以看到评估结果存储的目标Project 。

  • 单击删除,删除当前评估任务。

  • 单击关闭,中止当前评估任务。