标注任务

人工标注

1. 登录智能对话机器人管理控制台，进入具体机器人空间，选择标注中心>标注任务进入标注任务管理界面。

   

2. 单击新建标注任务，进入新建标注任务窗口，选择人工标注，填写相关数据。

   • 任务名称：即标注任务名字，系统默认任务名称为：标注任务-当前时间。

   • 标注维度：系统内置问答满意度、改写满意度、召回满意度、生成满意度四个维度模板供用户选择。默认填充问答满意度。用户可以在标注维度管理中根据自身业务需求新建标注维度。

   • 数据来源：即测评任务需测评的用户问句的数据来源，包括线上日志、线下导入、黄金测评集三种来源。

     • 线上日志导入：即正式环境下用户的问答数据，可分为测试窗和C端。测试窗是指在产品测试窗内发生的与机器人的对话数据；C端是指线上真实终端用户与机器人发生的对话数据。此外，可进一步根据以下条件来筛选需标注的数据：

       • 时间范围：即与机器人对话发生的时间范围。可选择全部或按照自定义时间范围进行筛选。

       • 样本抽样：包含全量标注、比例抽样和自定义量三种模式。

         • 全量标注：拉取全量的线上会话数据进行标注。

         • 比例抽样：根据线上会话数据的量，抽取一定的比例来进行标注。

         • 自定义量：根据自定义的数量，从线上会话数据中随机抽取对应量的数据。

       • 过滤已标注会话：同一时间段内，开启表示过滤已经标注的对话数据后再进行筛选，关闭表示对当前时间段的所有数据进行筛选。

         • 说明

           当选择的时间段内的数据都已经创建标注，且开启过滤已标注会话开关，会导致创建标注任务失败。

           

       • 用户满意度：可选全部、点赞、点踩。点赞和点踩为终端用户在与机器人对话时对机器人答案的评价。

       • 机器人回复类型：提供全部和仅无答案两个选项供用户选择。

         • 全部：在标注机器人问答的时候筛选线上的全部问答数据。

         • 仅无答案：在标注机器人问答的时候筛选线上仅无答案回复的问答数据。

       • 是否转人工：会话session中有一轮转人工即会筛选出来标注，可选全部、是、否。

     • 线下导入：即从本地导入待测评数据。

       • 测试环境：当处于关闭状态时，用正式环境批量跑数据。

       • 服务模拟：启用后，调用API插件返回的值并非取自接口的数据，而是直接返回API插件的mock值。更多详细内容请参见API插件。

         说明

         导入测评数据文件扩展名需为xls或xlsx，最大支持20MB；上传数据需要符合既定的格式，可下载规范模板进行填写。用户问法为必填字段，其他字段根据需求选填，请勿在其他列填写无关内容。具体格式可参考黄金测评集规范模板。

     • 黄金测评集：即从黄金测评集中导入待测评数据。可选择已有黄金测评集或进行新建，有关黄金测评集的详细介绍请参见黄金测评集。

3. 单击确定，即可完成标注任务创建。

4. 单击已有标注任务右侧操作栏的导出、删除，即可完成相关操作。

   

AI标注

通过AI帮助用户自动标注选定的对话，用户可以进行复核，标注准确率90%+。可以在当前页面查看当月AI标注剩余额度。

在新建标注任务界面选择AI标注，填写相关数据。具体填写方式可参见人工标注中的数据填写。AI自动标注暂时仅支持对提供期望答案的数据源进行标注。创建的AI标注任务在进行优化标注任务时只需要对当前会话按照标注维度进行打标即可。

1. 登录智能对话机器人管理控制台，进入具体机器人空间，选择标注中心>标注任务进入标注任务管理界面。

2. 在标注任务管理界面，单击标注任务右侧标注，即可进入标注任务界面。

   说明

   标注任务创建完成后，系统需要一定时间生成机器人答案（标注测评数据越多，系统生成答案耗时越长）。系统答案未生成前，标注任务状态为执行中；系统答案生成完成后，标注任务状态为标注中，此时方可进行标注操作。

   

3. 在标注任务界面，根据实际业务需求完成会话打标。当前标注界面可分为三个模块，每个模块的功能及含义如下：

   

   1. 搜索筛选模块：可按照关键词/chatId/sessionId、未标注/已标注、对话轮次三种范围进行筛选。

   2. 会话详情模块：展示用户问题及对应机器人回复答案。根据实际业务需求，可单击图标将当前会话详情添加至黄金测评集中，用于后续重新标注会话，持续优化会话效果。

   3. 标注模块：对当前会话详情进行问答满意度标注，可选择满意、不满意、一般或跳过。系统会按照选择提供优化方案，包含添加高频知识、召回干预与AI智能优化。具体详情请参见人工优化/AI智能优化。

4. 单击完成并结束任务，系统弹出提示框，提示当前标注任务数据（已标注通话数|总通话数、问答满意度标注数据），完成标注后当前任务将无法进行标注，但是可以进行智能优化。

   

5. 单击OK即可完标注。