云监控2.0支持对大模型的输入输出、Agent的tool调用等文本内容进行评估,即通过系统化的方法,从多维角度对大模型的输出、行为和效果进行动态监测和分析。您可以创建评估任务,管理评估任务列表。
前提条件
已在接入中心完成AI 应用可观测的接入。
创建评估任务
登录云监控2.0控制台,然后选择目标工作空间。
在左侧导航栏选择
,然后在左侧菜单中单击 。在评估列表页面,单击创建评估任务,然后参考下表配置参数。
参数名称
说明
源Project
请确认源Project是否正确。
源Logstore
请确认源Logstore是否正确。
评估模板
必选。不同的评估模板对应不同的评估任务。
任务ID
自动生成。
过滤语句
必填。表示从trace中选择哪些数据做评估,评估所有任务请输入
*
。结果预览
保存前请先单击预览通过校验。
单击创建,即可生成评估任务。
评估任务创建成功后,会在目标SLS Project中创建出定时SQL任务,周期性查询日志库中的数据,根据评估任务中内置的评估模板计算查询到的日志数据的评估分数。目标Project请管理评估任务列表。
管理评估任务列表
在评估列表页面,可以查看所有的在运行的评估任务。在评估列表中,您可以:
单击查看,将跳转到评估的定时任务。在定时任务详情页面,您可以看到评估结果存储的目标Project 。
单击删除,删除当前评估任务。
单击关闭,中止当前评估任务。
该文章对您有帮助吗?