标注中心(通话标注)

本文介绍了如何使用标注中心模块的方法。

从创建一个标注任务开始

标注中心工作的基本管理维度是一个个标注任务,每个任务包含一通通实际接通了的外呼或呼入电话。每个任务最多包含1000通通话。在【通话标注】模块中,首先新增任务,开启标注工作。

 image

数据源:本业务实例下的外呼通话

选择该实例下的某个外呼场景,任务名称就会自动生成。

image

数据筛选条件

对于标注数据可以进行筛选。

  • 按照11种不同的通话结果的组合进行筛选

  • 选择过滤掉已标注的通话,如选择过滤则不会将已标注过的电话纳入进任务中

  • 通话时间范围:对于通话发生的时间范围进行筛选(接通时间到挂断时间任一落入你选中的范围区间即可)

样本抽样

按照筛选条件选出的通话可能有非常多,我们支持以三种模式再进行样本抽样:

  • 全量标注:不做二次抽样,但一个任务通话总量不会超过1000,从符合时间范围最早数据开始抽取。

  • 比例抽样:从符合筛选条件的数据中随机抽取该比例的量。抽取后总量也不能超过1000条,同时会展示实际抽取的比例。

  • 自定义量:从符合时间范围的最早数据开始抽取该数量的样本,总量不可超过1000。

对任务进行处理、操作、标签体系的管理

对标注任务可以进行几种处理:

  • 标注:即进入任务中开始标注工作。

  • 关闭:将一个未完成的任务关闭掉,关闭的任务不可重启。

  • 删除:删除一个任务,数据将不可修复。但不会删除通话数据,仅删除标注的内容。

  • 任务统计:对于一个完成、或者关闭了的任务,可以查看统计结果

  • 查看:对于一个完成、或者关闭了的任务,进入标注任务内查看标注情况,但是不允许更改

标签管理

标签可以被灵活使用。对每一轮对话都可以打若干标签。系统预置了5种标签,但可以自由添加、删除。对通话打的标签也会在任务统计中。

image

一种专注模式的标注工作台

进入标注任务后,开始对每一通电话进行标注。按Alt+F开启全屏(Mac系统为Option+F),全屏时按Esc退出全屏。

image

标注工作台的最左侧展示通话的基本信息,与外呼的通话详情相同。

中间区域是通话内容,可以加速播放录音、划词取词、通过快捷键快速切换轮次

右侧区域是标注操作内容,每切换一轮,右侧标注内容也会随之切换。

基本操作模式

对于每一通电话进来,会自动选择第一轮对话。

  • 使用ctrl+1等快捷键选中【语义识别结果】中的任一标签,按alt+回车【提交】(Mac为Option+回车)或鼠标点击该按钮(可以重选再次提交,会覆盖之前选中结果)

  • 光圈聚焦在下一区域,同时光标在【选择机器人】下拉框上

image
  • 按回车可以展开光标聚焦的下拉框,按↑↓键切换、回车键选中结果

image
  • 按Tab键切换到【选择意图】的下拉框上

image
  • 类似方法选择后,在以Tab切换到下一个相似问的输入框中,直接打字、或者鼠标左键划选对话内容中任何文字会自动填充,按回车可以暂时保存,可以添加多条

image
  • 点击查看可以看到所有暂时保存的内容

  • 点击alt+回车(Mac为Option+回车)提交,提交后也可以撤回

  • 继续随着光圈聚焦,填写asr正确的转译结果,可以划词。该正确结果用于计算asr字准率/字错率。字错率CER=(ins + sub+ del) / wordcount

    • ins=插入错误,表示实际正确结果中没有,但识别结果里有

    • del=删除错误 ,表示实际正确结果中有,但识别结果里没有

    • sub=替换错误,表示实际正确结果中有,但识别结果里虽然有但字错误了

image
  • 完成类似操作并提交后,开始优化热词,选择或新增一个热词表

  • 向该表内添加热词,可以是多个,每个热词有一个预置,范围-6到5,数值越大效果越明显,但也可能影响其他词语的识别,默认值为3

image

  • 【打标选择】,可以选择给该轮对话打上任意标签

image

每一轮用户话术旁边会有“音”“义”的icon,指的是你完成了带有对应icon的标注项目。

你不需要标注所有

以上是每一轮对话标注工作内容,但你不需要对每一轮的上述每一项都进行处理,所有项目都是非必填

每一项都是单独提交保存,您可以随时退出、再回来继续标注。

通话的切换

可以切换上一通或下一通,如果到下一通则会默认提交该通电话中所有未提交的标注结果。

查看整个任务进展

点击顶部蓝色bar,会下拉展示该任务中所有通话的情况,再次点击收起。image

完成标注

在退出全屏模式后,左下角会有【完成标注】选项。无论是否完成所有通话标注,点击该按钮后会关闭标注任务。

如果选择【保存并退出】,还可以回来继续标注。

image

标注的内容流向哪了

语义的标注流向对话流中的意图相似问

会立即生效。

热词内容流向

流向【语音数据集】的热词表中。详情请参考本文档《语音数据集》部分。

阿里云首页 智能外呼机器人 相关技术圈