标注中心

筛选

在标注中心中,您可以对数据进行标注,可以按照任务状态和自定义日期进行筛选和管理。

  • 任务状态:您可以根据任务的状态进行筛选和管理。常见的任务状态包括已完成、已关闭和进行中。已完成的任务表示标注工作已经完成并且可供后续使用。已关闭的任务表示该标注任务已经关闭,不再接收新的标注工作。进行中的任务表示标注工作正在进行中。

  • 自定义日期:您还可以根据自定义日期范围来筛选和管理标注任务。例如,您可以设置一个起始日期和结束日期,只显示在此日期范围内创建或更新的标注任务。

image.png

标签管理

在标签管理中,您可以输入标签内容,然后通过点击添加按钮或按下回车键进行标签的添加操作。

image.png

新增任务

进入标注中心后,点击“新增任务”按钮,进入“标注任务”新增界面;

image.pngimage.png

进入标注任务新增界面后,根据实际业务需求,完成标注任务有关信息填写与选择,具体包括任务信息筛选条件样本抽样;完成标注任务有关信息填写与选择后,点击“确定”按钮,完成标注任务新增。

image.png

  • 任务信息填写:

    • 选择导航实例:选择导航实例后,标注任务中的标注数据均来自已选择的实例下的外呼会话;

  • 筛选条件选择:对于标注数据可以进行筛选。

    • 通话结果:按照11种不同的通话结果的组合进行筛选;

    • 过滤已标注语句:选择过滤掉已标注的通话,如选择过滤则不会将已标注过的电话纳入进任务中;

    • 通话时间范围:对于通话发生的时间范围进行筛选(接通时间到挂断时间任一落入你选中的范围区间即可);

  • 样本抽样方式选择:按照筛选条件选出的通话可能有非常多,当前支持以三种模式进行样本抽样:

    • 全量标注:不做二次抽样,但一个任务通话总量不会超过1000,从符合时间范围最早数据开始抽取。

    • 比例抽样:从符合筛选条件的数据中随机抽取该比例的量。抽取后总量也不能超过1000条,同时会展示实际抽取的比例。

    • 自定义量:从符合时间范围的最早数据开始抽取该数量的样本,总量不可超过1000。

关闭或删除标注任务

  • 含义:

    • 关闭:将一个未完成的任务关闭掉,关闭的任务不可重启。

    • 删除:删除一个任务,数据将不可修复。但不会删除通话数据,仅删除标注的内容。

  • 步骤:进入标注中心后,根据实际业务需求,点击有关任务右侧“关闭”或“删除”按钮,即可完成标注任务的关闭或删除。

image.png

完成标注任务

进入标注工作台

进入标注中心后,根据实际业务需求,点击有关标注任务右侧“标注”按钮,进入标注工作台;

image.png

image.png
说明
  • 标注工作台的最左侧展示通话的基本信息,与外呼的通话详情相同;

  • 标注工作台的中间区域是通话内容,可以加速播放录音、划词取词、通过快捷键快速切换轮次

  • 标注工作台的右侧区域是标注操作内容,每切换一轮,右侧标注内容也会随之切换。

进行标注

当前机器人与用户的交互会话支持标注的内容有:语义识别结果标注、意图标注、正确转译结果标注、热词标注和标签标注。

说明
  • 对于每一轮的对话标注工作内容,您可根据实际业务需求进行处理,所有项目都是非必填。每一项都是单独提交保存,您可以随时退出、再回来继续标注。

  • 对于每一通电话进来,会自动选择第一轮对话。

  • 进入标注任务后,开始对每一通电话进行标注。按Alt+F开启全屏(Mac系统为Option+F),全屏时按Esc退出全屏。

语义识别结果标注

  • 含义:对机器人识别用户输入语句含义的状况进行标注,即是对会话交互状况进行标注。具体可标注操作如下:

  • 快捷键标注

    1. 使用【ctrl+1】等快捷键选中【语义识别结果】中的任一标签;

    2. 按【alt+回车】完成标注。(Mac为Option+回车)

  • 鼠标标注:将光标移至【语义识别结果】中有关标签上,点击鼠标选中标签后,点击“提交”按钮完成标注。

说明

可以重选再次提交,会覆盖之前选中结果。

重要

语义的标注内容流向对话流中的意图相似问,会立即生效。

image.png

意图标注

  • 含义:对用户输入问句进行意图标注——将用户输入问句添加为当前某意图的相似句。

  • 快捷键标注

    1. 在光标在“选择机器人”下拉框上时,按【回车键】可以展开光标聚焦的下拉框,按【↑↓键】切换、【回车键】选中结果;

    2. 按【Tab键】切换到“选择意图”的下拉框上,按【回车键】可以展开光标聚焦的下拉框,按【↑↓键】切换、【回车键】选中结果;

    3. 在以【Tab键】切换到下一个“相似问的输入框”中,直接打字、或者鼠标左键划选对话内容中任何文字会自动填充,按【回车键】可以暂时保存,可以添加多条,

    4. 点击【Alt+回车】(Mac为Option+回车)提交,提交后也可以撤回

    5. 按【Tab键】切换到“查看”按钮,按【回车键】可以看到所有暂时保存的内容

  • 鼠标标注:点击鼠标选择对应标签后,点击“提交”按钮即可完成标注,点击“查看”按钮即可查看对应标注内容。

image.png

正确转译结果标注

  • 含义:对机器人将用户输入问句的语音转文字状况进行标注;

  • 继续随着光圈聚焦,填写ASR正确的转译结果,可以划词。

image.png

热词标注

  1. 选择或新增一个热词表;

  2. 向该表内添加热词,可以是多个,每个热词有一个阈值,范围-6到5,数值越大效果越明显,但也可能影响其他词语的识别,默认值为3。

image.png

标签标注

标签可以被灵活使用。对每一轮对话都可以打若干标签。系统预置了6种标签,但可以自由添加、删除。对通话打的标签也会在任务统计中。

image.png

通话的切换

可以通过点击“上一通”或“下一通”按钮切换通话,如果到下一通则会默认提交该通电话中所有未提交的标注结果。

image.png

查看标注任务进展

通过点击顶部蓝色bar,会下拉展示该任务中所有通话的情况,再次点击收起。

image.png

完成标注任务

当标注任务完成后,可点击“完成标注”按钮,结束标注任务。

image.png
说明
  • 点击“完成标注”按钮无论是否完成所有通话标注,都会关闭标注任务。

  • 点击“保存并退出”按钮,后续还可继续标注。