功能介绍
意图的“包含语句”极大地影响意图模型识别客服或客户意图的准确率,所以除了在新建意图时添加意图的“包含语句”外,还可以通过建立意图标注任务完成有关意图“包含语句”的更新扩充,以此提高意图模型的准确率,并减轻相关工作人员对列举意图的“包含语句”的负担。
新建标注任务
进入智能对话分析系统后,选择智能工具>语义模型训练工具>意图管理,进入意图管理界面;
点击新建任务按钮进行意图标注任务新建;
填写意图标注任务信息后点击“确定”按钮完成意图标注任务新建,具体意图标注任务信息含义如下:
任务名称:即意图标注任务的名字。
标注场景:包括客服场景和客户场景。选择客服场景后意图标注任务则是针对客服对话内容意图进行标注、选择客户场景后意图标注任务则是针对客户对话内容意图进行标注。
搜索会话:选择后,系统将选择满足已选择条件的会话语句进入待标注任务。常用的搜索会话条件有:“会话结果类型、会话名称、会话时间等”。
包含关键词:填写后,系统将选择包含此关键词的会话语句进入待标注任务。
句子字数限制:填写后,系统将满足字数条件限制的会话语句进入待标注任务
最多标注语句数:即表中任务中包含待标注语句数的最大量。
包含关键词:可以输入多个关键词,关键词之间用逗号隔开,包含其中任意一个关键词都可命中,最多输入20个关键词。
最多标注语句数:单个任务,最多支持标注一万句。
完成标注任务
创建好标注任务后我们下一步就是完成标注任务,除了在平台自己完成任务标注外,还可以将标注任务分配给其他质检员完成。具体完成标注任务流程可参考如下步骤:
进入“任务标注详情”界面
进入“意图标注”界面,选择目标标注任务的创建时间;
点击有关标注任务右侧“进入任务详情”按钮进入“任务标注详情”界面;
进行待标注会话语句的分配或标注
进入会话语句分配标注界面:在“任务标注详情”界面点击“未标注”按钮即可进入;
标注会话语句的筛选:筛选项包括“机器判定结果、标注员、操作状态”,具体根据实际业务需求选择;
单条会话语句标注与分配:选定单条会话语句,可直接在该会话语句右侧进行分配或标注操作;
批量会话语句标注与分配:选定多条会话语句后,可在会话语句最下方进行批量分配或批量标注操作。
具体如下图所示:
3.完成已标注会话语句提交
进入会话语句已标注界面:在“任务标注详情”界面点击“已标注”按钮即可进入;
确认已标注语句标注无误后可进行批量提交或一键提交,提交后标注任务结束。
若所有已标注语句均完成提交,标注任务则成为完成状态,之后再在标注任务中对剩余未标注语句的标注无法生效。
标注任务完成后,标注的会话语句有关意图数据将由系统自动录入到训练集中。
查看标注任务统计数据
要查看标注任务统计数据可参考如下步骤:
进入“意图标注”界面后选择目标标注任务的创建时间;
点击有关标注任务右侧“查看数据统计”按钮进入“数据统计”界面查看有关数据;
生效意图总数:完成当前标注任务,知识库里有更新的意图数。
生效语句总数:完成当前标注任务,意图知识库里更新的总语句数量。
分配语句总数:当前标注任务,进行任务分配的语句总数。
标注语句总数:当前标注任务, 完成标注并且提交的语句总数。
删除标注任务
进入“意图标注”界面,选择目标标注任务的创建时间;
点击有关标注任务右侧“删除”按钮即可完成删除;