文档

对话效果测评

功能概述

要实现智能对话机器人能够“智能”地回答用户问题,大致需要按以下步骤进行机器人配置:

  1. 首先是需要创建机器人;

  2. 其后是需要“赋予”机器人有关业务知识——配置机器人;

  3. 再后是需要对具有知识的机器人的问答效果进行测评,以保证机器人实际使用效果——对话效果测评

  4. 最后是对机器人的使用并对其效果进行监督与优化——发布知识与机器人、部署应用、数据看板。

    说明

    敏捷版(通义版)为单环境,知识与机器人配置完成即时生效,无需发布。

对话效果测评在使用对话机器人的整体链路中作用如下图所示:

image.png

其中对话效果的测评,一方面可以明晰当前机器人的具体使用效果以保证C端用户体验,另一方面还能为机器人的优化提供窗口。

说明

除了可以使用对话效果测评功能来监测机器人问答效果外,还可以直接在测试窗进行测试。相对于对话效果测评,测试窗测试链路更加轻便,适用于简单体验有关机器人问答效果。有关测试窗介绍可参考《全局测试窗》。

重要

会话效果测评和测试窗测试均会产生调用量,对应产生有关流量费用,具体计费规则可参考《产品计费

功能入口

进入机器人空间,选中对话效果测评后,即可进入有关机器人的对话效果测评界面;

image

对话效果测评管理

在新版对话机器人中完成对话效果测评可简单分为两大步骤:准备测评集、完成测评任务。分别可在测评集管理测评任务管理功能模块中进行。

测评集管理

测评集是指用于测评机器人对话效果的数据集合,测评集管理则是指对测评集的增删改查等操作的集合,旨在系统管理测评集。

测评集新建

  1. 进入测评集管理界面后,单击上传测评集按钮,弹出测评集上传窗口;

image

  1. 单击或将文件拖至上传文件区域,完成测频集文件上传。

说明
  • 选择文件进行上传,测评数据需要符合既定的格式(有关格式可参考产品内提供的模板),包含用户问法、期望答案两个字段。

  • 支持扩展名:xls、xlsx,文件最大10MB。

  • 一次最多导入10个文件。

image

测评集、下载与删除

进入测评集管理界面后,根据实际业务需求,单击有关测评集右侧下载删除按钮即可完成对应操作。

image

测评任务管理

测评任务是指以任务的形式对机器人对话效果进行测评。

测评任务创建

  1. 进入测评任务管理界面后,单击创建测评任务按钮,弹出测评任务创建窗口;

image

  1. 根据实际业务需求,选择测评数据后,单击下一步按钮,进入开始测评阶段;

说明

选择文件进行上传,测评数据需要符合既定的格式,包含用户问法、期望答案两个字段。若目前还未上传测评集可前往测评集管理进行数据上传。

image

  1. 选择测评维度,即从不同角度对机器人对话效果进行测评,系统内置“会话满意度、回复流畅度、回复冗余度、回复敏感度”等维度。

image

  1. 预览测评配置,可根据需要调整任务名称,单击开始测评按钮后系统执行跑批任务,跑批任务完成后可进入测评列表,在测评列表单击测评进入测评详情页对机器人回复进行多维度打分。

image

完成测评任务

  1. 完成测评任务创建后,单击有关测评任务右侧测评按钮,进入具体测评任务;

image

  1. 根据实际情况对机器人回复效果进行“打分”——在测评结果中勾选“较好、一般或较差”等测评选项。完成测评任务。

image

查看测评结果

测评任务完成后,单击有关任务的结果按钮,进入测评任务结果统计界面查看测评结果。

image

image

  • 本页导读 (0)
文档反馈