任务管理

数据集质检是以数据集为数据源发起质检任务,可以对数据集中的文件进行质检分析。

任务列表

在进入任务管理后可以查看到当前已创建的全部质检任务,若需要新的任务可以前往创建质检任务中进行操作。

1执行状态:蓝色待执行、绿色已执行、红色有错误。

任务结果

点击已完成任务右侧的 任务结果 按钮即可查看当前任务的执行结果。

1任务结果页展示当前任务所使用的质检任务相关的统计数据。

会话名称:表示当前质检数据集中的对话名

任务名称:当前质检任务的名称

质检方案:进行质检的质检方案名称

所属数据集:表示当前会话所属数据集名称

任务时间:当前质检任务执行的时间

命中检测项:会话命中的检测项名称。绿色正确,检测项正确命中;红色错误,检测项未命中;灰色,该检测项还未进行复核。

质检得分:命中检测项后的得分情况

录音时长:当数据集为语音数据集时会显示当前会话的录音时长

对话轮数:当前会话的对话轮次,客服和客户交互一次算一轮

复核准确性:复核准确性是根据文件人工复核后,或系统自动复核(命中规则勾选了"自动审核")后,命中规则的"是否正确命中"勾选情况来判定的。

正确:所有命中规则的"是否正确命中"全部选择为"是"时,复核准确性为正确。

错误:所有命中规则的"是否正确命中"全部选择为"否"时,复核准确性为错误。

部分正确:部分命中规则的"是否正确命中"选择为"是"时,复核准确性为部分正确。

待复核:该文件还未进行复核,包括人工复核以及自动复核。

未命中规则:未命中任何规则,所以不存在复核准确性。

分配的质检员:指的是该文件分配的质检员的名称,若未做分配,则显示为空。

复核员:指的是最后一次对该文件进行复核保存的人员名称。

复核时间:复核员进行复核的时间。

执行状态:表示当前会话检测的执行状态。

复核状态:对于已经复核过的文件,会显示复核的类型,分为两种类型。

自动:命中的规则中有规则勾选了"自动审核",那么系统就会自动将该规则进行复核确认,同时该文件的复核状态也会变为"已复核"。

人工:管理员/质检员角色的账号登录后,手动进行复核。

大模型质检规则复核

进入质检任务-数据集任务-任务管理中选择大模型质检方案的任务,点击任务结果,再点击复核。image

image

选择大模型质检规则,可以查看大模型机检结果,选择查看详情。

imageimage

通义晓蜜大模型算子:

  • 规则名称:xxxx

  • 命中逻辑:a||b||c||d

  • 条件b:在新建这个检测任务时,所选择的质检方案中配置的质检规则,具体可参考质检方案创建流程

    • 通义晓蜜质检大模型

    • 检测角色:【客服、客户、所有角色】,根据业务需求选择。

    • 检测范围:全文,默认为全文。

    • 所选维度:服务质检的检测维度列表,包含质检维度名称和定义,即需要大模型以什么样的标准判断该维度是否命中。维度名称与维度描述均为新建规则时的配置。

      • 维度名称:xxx

      • 维度描述:xxx

      • 命中原因:xxx

对规则是否正确、对话轮次的命中条件情况的机检是否正确做判断,勾选完成后,点击提交完成复核。

image