本文介绍了如何使用标注中心模块的方法。
功能概述
在外呼业务中,外呼效果是我们所关注的,智能外呼的效果则具体体现在机器人与用户的交互效果上。通过对外呼会话的标注,可以有效纠正机器人对用户的回复错误,进而可以提升机器人与用户的交互效果,从而提升外呼效果。在标注中心中,可通过以创建“标注任务”的形式对外呼会话进行标注。
功能入口
进入智能外呼主界面后,选择左侧菜单栏中“业务管理”后,根据实际业务需求,进入有关业务空间;
进入有关业务空间后,选择左侧菜单栏“标注中心”,即可进入标注中心。
新增标注任务
进入标注中心后,点击“新增任务”按钮,进入“标注任务”新增界面;
标注中心工作的基本管理维度是一个个标注任务,每个任务包含一通通实际接通了的外呼或呼入电话。每个任务最多包含1000通通话。
进入标注任务新增界面后,根据实际业务需求,完成标注任务有关信息填写与选择,具体包括任务信息、筛选条件和样本抽样;完成标注任务有关信息填写与选择后,点击“确定”按钮,完成标注任务新增。
任务信息填写:
选择场景:选择场景后,标注任务中的标注数据均来自于已选择的场景下的外呼会话;
选择了某个外呼场景后,系统会自动生成标注任务名称。
筛选条件选择:对于标注数据可以进行筛选。
通话结果:按照11种不同的通话结果的组合进行筛选;
过滤已标注语句:选择过滤掉已标注的通话,如选择过滤则不会将已标注过的电话纳入进任务中;
通话时间范围:对于通话发生的时间范围进行筛选(接通时间到挂断时间任一落入你选中的范围区间即可);
数据来源:可选择数据来源为外呼任务或测试任务。
样本抽样方式选择:按照筛选条件选出的通话可能有非常多,当前支持以三种模式进行样本抽样:
全量标注:不做二次抽样,但一个任务通话总量不会超过1000,从符合时间范围最早数据开始抽取。
比例抽样:从符合筛选条件的数据中随机抽取该比例的量。抽取后总量也不能超过1000条,同时会展示实际抽取的比例。
自定义量:从符合时间范围的最早数据开始抽取该数量的样本,总量不可超过1000。
关闭或删除标注任务
含义:
关闭:将一个未完成的任务关闭掉,关闭的任务不可重启。
删除:删除一个任务,数据将不可修复。但不会删除通话数据,仅删除标注的内容。
步骤:进入标注中心后,根据实际业务需求,点击有关任务右侧“关闭”或“删除”按钮,即可完成标注任务的关闭或删除。
完成标注任务
进入标注工作台
进入标注中心后,根据实际业务需求,点击有关标注任务右侧“标注”按钮,进入标注工作台;
标注工作台的最左侧展示通话的基本信息,与外呼的通话详情相同;
标注工作台的中间区域是通话内容,可以加速播放录音、划词取词、通过快捷键快速切换轮次;
标注工作台的右侧区域是标注操作内容,每切换一轮,右侧标注内容也会随之切换。
进行标注
当前机器人与用户的交互会话支持标注的内容有:语义识别结果标注、意图标注、正确转译结果标注、热词标注和标签标注。
对于每一轮的对话标注工作内容,您可根据实际业务需求进行处理,所有项目都是非必填。每一项都是单独提交保存,您可以随时退出、再回来继续标注。
对于每一通电话进来,会自动选择第一轮对话。
进入标注任务后,开始对每一通电话进行标注。按Alt+F开启全屏(Mac系统为Option+F),全屏时按Esc退出全屏。
语义识别结果标注
含义:对机器人识别用户输入语句含义的状况进行标注,即是对会话交互状况进行标注。具体可标注操作如下:
快捷键标注:
使用【ctrl+1】等快捷键选中【语义识别结果】中的任一标签;
按【alt+回车】完成标注。(Mac为Option+回车)
鼠标标注:将光标移至【语义识别结果】中有关标签上,点击鼠标选中标签后,点击“提交”按钮完成标注。
可以重选再次提交,会覆盖之前选中结果。
语义的标注内容流向对话流中的意图相似问,会立即生效。
意图标注
含义:对用户输入问句进行意图标注——将用户输入问句添加为当前某意图的相似句。
快捷键标注:
在光标在“选择机器人”下拉框上时,按【回车键】可以展开光标聚焦的下拉框,按【↑↓键】切换、【回车键】选中结果;
按【Tab键】切换到“选择意图”的下拉框上,按【回车键】可以展开光标聚焦的下拉框,按【↑↓键】切换、【回车键】选中结果;
在以【Tab键】切换到下一个“相似问的输入框”中,直接打字、或者鼠标左键划选对话内容中任何文字会自动填充,按【回车键】可以暂时保存,可以添加多条,
点击【Alt+回车】(Mac为Option+回车)提交,提交后也可以撤回
按【Tab键】切换到“查看”按钮,按【回车键】可以看到所有暂时保存的内容
鼠标标注:点击鼠标选择对应标签后,点击“提交”按钮即可完成标注,点击“查看”按钮即可查看对应标注内容。
正确转译结果标注
含义:对机器人将用户输入问句的语音转文字状况进行标注;
继续随着光圈聚焦,填写ASR正确的转译结果,可以划词。
热词标注
选择或新增一个热词表;
向该表内添加热词,可以是多个,每个热词有一个阈值,范围-6到5,数值越大效果越明显,但也可能影响其他词语的识别,默认值为3。
标注的热词内容流向:流向【语音数据集】的热词表中。详情请参考本文档《语音数据集》部分。
标签标注
标签可以被灵活使用。对每一轮对话都可以打若干标签。系统预置了5种标签,但可以自由添加、删除。对通话打的标签也会在任务统计中。
每一轮用户话术旁边会有“音”“义”的标签,指的是你完成了带有对应的标注项目。
通话的切换
可以通过点击“上一通”或“下一通”按钮切换通话,如果到下一通则会默认提交该通电话中所有未提交的标注结果。
查看标注任务进展
通过点击顶部蓝色bar,会下拉展示该任务中所有通话的情况,再次点击收起。
完成标注任务
当标注任务完成后,可点击“完成标注”按钮,结束标注任务。
点击“完成标注”按钮无论是否完成所有通话标注,都会关闭标注任务。
点击“保存并退出”按钮,后续还可继续标注。