本文将详细介绍标注中心的用途、功能和相关操作步骤。
功能入口
-
登录云联络中心控制台,在左侧导航栏选择实例管理-V2,单击具体实例的访问地址进入实例控制台。
-
单击页面右上角菜单按钮,选择数字员工进入数字员工业务控制台。在左侧导航栏选择标注管理>标注中心。
页面右上角提供标签管理和新增任务按钮,下方以列表形式展示任务名称、任务状态、创建时间、任务进度及操作选项。
筛选
在标注中心中,您可以对数据进行标注,也可以按照任务状态和自定义日期进行筛选和管理。
-
任务状态:您可以根据任务的状态进行筛选和管理。常见的任务状态包括已完成、已关闭和进行中。已完成的任务表示标注工作已经完成并且可供后续使用。已关闭的任务表示该标注任务已经关闭,不再接收新的标注工作。进行中的任务表示标注工作正在进行中。
-
自定义日期:您还可以根据自定义日期范围来筛选和管理标注任务。例如,您可以设置一个起始日期和结束日期,只显示在此日期范围内创建或更新的标注任务。
标签管理
单击标注中心页面右上角标签管理,打开标签管理弹窗,在标签管理中,您可以输入标签内容,然后通过单击添加或按下回车键进行标签的添加操作。
已添加的标签以标签芯片形式展示在输入框下方,每个标签右侧有 × 可删除。面板底部提供 恢复默认标签 按钮,可将标签列表恢复为系统默认值。
新增任务
-
进入标注中心页面,单击新增任务,进入标注任务新增界面。
-
根据实际业务需求,完成标注任务有关信息填写与选择,具体包括任务信息、筛选条件和样本抽样。完成标注任务有关信息填写与选择后,单击确定即可完成标注任务新增。
-
任务信息填写:
-
选择导航实例:选择导航实例后,标注任务中的标注数据均来自已选择的实例下的外呼会话。
说明如果导航实例所绑定的机器人发生变化,需新建标注任务来拉取新机器人的对话数据,已创建的任务内通话数据不会随着改变。
-
-
筛选条件选择:对于标注数据可以进行筛选。
-
通话结果:按照11种不同的通话结果的组合进行筛选。
-
过滤已标注语句:选择过滤掉已标注的通话,如选择过滤则不会将已标注过的电话纳入进任务中。
-
通话时间范围:对于通话发生的时间范围进行筛选(接通时间到挂断时间任一落入你选中的范围区间即可)。
-
-
样本抽样方式选择:按照筛选条件选出的通话可能有非常多,当前支持全量标注、比例抽样、自定义量三种模式进行样本抽样。
-
全量标注:不做二次抽样,但一个任务通话总量不会超过1000,从符合时间范围最早数据开始抽取。
-
比例抽样:从符合筛选条件的数据中随机抽取该比例的量。抽取后总量也不能超过1000条,同时会展示实际抽取的比例。
-
自定义量:从符合时间范围的最早数据开始抽取该数量的样本,总量不可超过1000。
-
-
关闭或删除标注任务
-
关闭:将一个未完成的任务关闭掉,关闭的任务不可重启。
-
删除:删除一个任务,数据将不可修复。但不会删除通话数据,仅删除标注的内容。
进入标注中心后,根据实际业务需求,单击目标任务右侧操作列关闭/删除,即可完成标注任务的关闭或删除。
完成标注任务
进入标注工作台
进入标注中心后,根据实际业务需求,单击目标标注任务右侧操作列标注,进入标注工作台。
标注操作区域包含语义识别结果判定按钮(识别正确、识别错误、无效数据、未做直接回复、请重新识别,对应快捷键 Ctrl+1~5)、选择机器人与选择意图下拉框、添加相似问与正确转译结果输入框、选择拒识与添加拒问字段,以及打标选择标签组(包含用户投诉、话术可优化、延迟数据、语音识别、打断异常等)。
-
标注工作台的最左侧展示通话的基本信息,与外呼的通话详情相同。
-
标注工作台的中间区域是通话内容,可以倍速播放录音、划词取词、通过快捷键快速切换轮次。
-
标注工作台的右侧区域是标注操作内容,每切换一轮,右侧标注内容也会随之切换。
进行标注
当前机器人与用户的交互会话支持标注的内容有:语义识别结果标注、意图标注、正确转译结果标注、热词标注和标签标注。
-
对于每一轮的对话标注工作内容,您可根据实际业务需求进行处理,所有项目都是非必填。每一项都是单独提交保存,您可以随时退出、再回来继续标注。
-
对于每一通来电,将自动选择进行第一轮对话。
-
进入标注任务后,开始对每一通电话进行标注。按Alt+F开启全屏(Mac系统为Option+F),全屏时按Esc退出全屏。
语义识别结果标注
对机器人识别用户输入语句含义的状况进行标注,即是对会话交互状况进行标注。具体可标注操作如下:
-
快捷键标注:
-
使用【ctrl+1】等快捷键选中【语义识别结果】中的任一标签。
-
按【alt+回车】完成标注。(Mac为Option+回车)。
-
-
鼠标标注:将光标移至语义识别结果中有关标签上,单击鼠标选中标签后,单击提交完成标注。
可以重选再次提交,会覆盖之前选中结果。
语义的标注内容流向对话流中的意图相似问,会立即生效。
语义识别结果区域包含以下标签:识别正确(ctrl+1)、识别错误(ctrl+2)、无效数据(ctrl+3)、未覆盖意图(ctrl+4)、转译质量问题(ctrl+5)。
意图标注
对用户输入问句进行意图标注——将用户输入问句添加为当前某意图的相似句。
-
快捷键标注:
-
将光标移至选择机器人下拉框上时,按【回车键】可以展开光标聚焦的下拉框,按【↑↓键】切换、按【回车键】选中结果。
-
按【Tab键】切换到选择意图下拉框上时,按【回车键】可以展开光标聚焦的下拉框,按【↑↓键】切换、按【回车键】选中结果。
-
再按【Tab键】切换到下一个添加相似问的输入框中,直接打字、或者鼠标左键划选对话内容中任何文字会自动填充,按【回车键】可以暂时保存,可以添加多条。
-
按【Alt+回车】键(Mac为Option+回车)提交,提交后也可以撤回。
-
按【Tab键】切换到查看,按【回车键】可以看到所有暂时保存的内容。
-
-
鼠标标注:单击鼠标选择对应标签后,单击提交即可完成标注,单击查看即可查看对应标注内容。
标注界面右栏顶部提供语义识别结果快捷按钮:识别正确(Ctrl+1)、识别错误(Ctrl+2)、无效数据(Ctrl+3)、未覆盖意图(Ctrl+4)、转译误识别(Ctrl+5);下方还包含正确转译结果输入框、选择热词表下拉框、添加热词输入框及打标选项(测试、噪音误识别、延迟较高、用户投诉、打断异常)。中栏通话内容区域会在用户消息下方显示命中意图标签。
正确转译结果标注
对机器人将用户输入问句的语音转文字状况进行标注。继续随着光圈聚焦,在右侧标注面板的正确转译结果输入框中填写ASR正确的转译结果;可在中栏通话内容区域划选用户语音对应的正确文字,划选内容将自动填充至该输入框。
热词标注
-
选择已有热词表或单击添加热词表新增一个热词表。
-
向该表内添加热词,可以是多个,每个热词有一个阈值,范围-6到5,数值越大效果越明显,但也可能影响其他词语的识别,默认值为3。
标签标注
标签可以被灵活使用。对每一轮对话都可以打若干标签。系统预置了6种标签,可以自由添加、删除。对通话打的标签也会在任务统计中。
预置标签包括测试、噪音误识别、延迟较高、用户投诉、打断异常和话术可优化,可在打标选择区域选择标签,单击标签管理进行添加或删除。
通话的切换
可以通过单击上一通或下一通来切换通话,如果到下一通则会默认提交该通电话中所有未提交的标注结果。
查看标注任务进展
通过单击顶部蓝色页签,会下拉展示该任务中所有通话的情况,再次单击收起。
标注任务操作界面分为三个区域:左侧通话详情面板展示接通时间、挂断时间、来电号码、被叫号码、是否白名单、是否转人工、通话时长、对话轮次、挂断方和呼叫结果等信息;中间通话内容区域包含音频播放器和逐轮对话记录(含用户语音及命中意图、机器人回复);右侧标注面板提供语义识别结果按钮组(识别正确 ctrl+1、识别错误 ctrl+2、无效数据 ctrl+3、未覆盖意图 ctrl+4、转译误识 ctrl+5)、选择机器人下拉框、选择意图、添加相似问、正确转译结果输入框、选择热词表及打标标签按钮(如测试、噪音误识别、延迟较高等)。顶部操作栏包含完成标注按钮、保存并退出按钮、完成度指示及上一通/下一通导航。勾选左上角复选框可按筛选条件切换通话。
完成标注任务
当标注任务完成后,可单击完成标注,结束标注任务。
-
单击完成标注无论是否完成所有通话标注,都会关闭标注任务。
-
单击保存并退出,后续还可继续标注。