语义意图标注

功能介绍

意图的“包含语句”极大地影响意图模型识别客服或客户意图的准确率,所以除了在新建意图时添加意图的“包含语句”外,还可以通过建立意图标注任务完成有关意图“包含语句”的更新扩充,以此提高意图模型的准确率,并减轻相关工作人员对列举意图的“包含语句”的负担。

新建标注任务

  1. 进入智能对话分析系统后,选择智能工具>语义模型训练工具>意图管理,进入意图管理界面;

  2. 点击新建任务按钮进行意图标注任务新建;

image.png

  1. 填写意图标注任务信息后点击“确定”按钮完成意图标注任务新建,具体意图标注任务信息含义如下:

  • 任务名称:即意图标注任务的名字。

  • 标注场景:包括客服场景和客户场景。选择客服场景后意图标注任务则是针对客服对话内容意图进行标注、选择客户场景后意图标注任务则是针对客户对话内容意图进行标注。

  • 搜索会话:选择后,系统将选择满足已选择条件的会话语句进入待标注任务。常用的搜索会话条件有:“会话结果类型、会话名称、会话时间等”。

  • 包含关键词:填写后,系统将选择包含此关键词的会话语句进入待标注任务。

  • 句子字数限制:填写后,系统将满足字数条件限制的会话语句进入待标注任务

  • 最多标注语句数:即表中任务中包含待标注语句数的最大量。

说明
  • 包含关键词:可以输入多个关键词,关键词之间用逗号隔开,包含其中任意一个关键词都可命中,最多输入20个关键词。

  • 最多标注语句数:单个任务,最多支持标注一万句。

image.png

完成标注任务

创建好标注任务后我们下一步就是完成标注任务,除了在平台自己完成任务标注外,还可以将标注任务分配给其他质检员完成。具体完成标注任务流程可参考如下步骤:

  1. 进入“任务标注详情”界面

  • 进入“意图标注”界面,选择目标标注任务的创建时间;

  • 点击有关标注任务右侧“进入任务详情”按钮进入“任务标注详情”界面;

image.png

  1. 进行待标注会话语句的分配或标注

  • 进入会话语句分配标注界面:在“任务标注详情”界面点击“未标注”按钮即可进入;

  • 标注会话语句的筛选:筛选项包括“机器判定结果、标注员、操作状态”,具体根据实际业务需求选择;

  • 单条会话语句标注与分配:选定单条会话语句,可直接在该会话语句右侧进行分配或标注操作;

  • 批量会话语句标注与分配:选定多条会话语句后,可在会话语句最下方进行批量分配或批量标注操作。

具体如下图所示:

image.png

3.完成已标注会话语句提交

  • 进入会话语句已标注界面:在“任务标注详情”界面点击“已标注”按钮即可进入;

  • 确认已标注语句标注无误后可进行批量提交或一键提交,提交后标注任务结束。

image.png

重要
  • 若所有已标注语句均完成提交,标注任务则成为完成状态,之后再在标注任务中对剩余未标注语句的标注无法生效。

  • 标注任务完成后,标注的会话语句有关意图数据将由系统自动录入到训练集中。

查看标注任务统计数据

要查看标注任务统计数据可参考如下步骤:

  1. 进入“意图标注”界面后选择目标标注任务的创建时间;

  2. 点击有关标注任务右侧“查看数据统计”按钮进入“数据统计”界面查看有关数据;

  • 生效意图总数:完成当前标注任务,知识库里有更新的意图数。

  • 生效语句总数:完成当前标注任务,意图知识库里更新的总语句数量。

  • 分配语句总数:当前标注任务,进行任务分配的语句总数。

  • 标注语句总数:当前标注任务, 完成标注并且提交的语句总数。

image.png

image

删除标注任务

  1. 进入“意图标注”界面,选择目标标注任务的创建时间;

  2. 点击有关标注任务右侧“删除”按钮即可完成删除;

image.png