数据集质检是以数据集为数据源发起质检任务,可以对数据集中的文件进行质检分析。
任务列表
在进入任务管理后可以查看到当前已创建的全部质检任务,若需要新的任务可以前往创建质检任务中进行操作。
执行状态:蓝色待执行、绿色已执行、红色有错误。
任务结果
点击已完成任务右侧的 任务结果 按钮即可查看当前任务的执行结果。
任务结果页展示当前任务所使用的质检任务相关的统计数据。
会话名称:表示当前质检数据集中的对话名
任务名称:当前质检任务的名称
质检方案:进行质检的质检方案名称
所属数据集:表示当前会话所属数据集名称
任务时间:当前质检任务执行的时间
命中检测项:会话命中的检测项名称。绿色正确,检测项正确命中;红色错误,检测项未命中;灰色,该检测项还未进行复核。
质检得分:命中检测项后的得分情况
录音时长:当数据集为语音数据集时会显示当前会话的录音时长
对话轮数:当前会话的对话轮次,客服和客户交互一次算一轮
复核准确性:复核准确性是根据文件人工复核后,或系统自动复核(命中规则勾选了"自动审核")后,命中规则的"是否正确命中"勾选情况来判定的。
正确:所有命中规则的"是否正确命中"全部选择为"是"时,复核准确性为正确。
错误:所有命中规则的"是否正确命中"全部选择为"否"时,复核准确性为错误。
部分正确:部分命中规则的"是否正确命中"选择为"是"时,复核准确性为部分正确。
待复核:该文件还未进行复核,包括人工复核以及自动复核。
未命中规则:未命中任何规则,所以不存在复核准确性。
分配的质检员:指的是该文件分配的质检员的名称,若未做分配,则显示为空。
复核员:指的是最后一次对该文件进行复核保存的人员名称。
复核时间:复核员进行复核的时间。
执行状态:表示当前会话检测的执行状态。
复核状态:对于已经复核过的文件,会显示复核的类型,分为两种类型。
自动:命中的规则中有规则勾选了"自动审核",那么系统就会自动将该规则进行复核确认,同时该文件的复核状态也会变为"已复核"。
人工:管理员/质检员角色的账号登录后,手动进行复核。
大模型质检规则复核
进入质检任务-数据集任务-任务管理中选择大模型质检方案的任务,点击任务结果,再点击复核。
选择大模型质检规则,可以查看大模型机检结果,选择查看详情。
通义晓蜜大模型算子:
规则名称:xxxx
命中逻辑:a||b||c||d
条件b:在新建这个检测任务时,所选择的质检方案中配置的质检规则,具体可参考质检方案创建流程。
通义晓蜜质检大模型
检测角色:【客服、客户、所有角色】,根据业务需求选择。
检测范围:全文,默认为全文。
所选维度:服务质检的检测维度列表,包含质检维度名称和定义,即需要大模型以什么样的标准判断该维度是否命中。维度名称与维度描述均为新建规则时的配置。
维度名称:xxx
维度描述:xxx
命中原因:xxx
对规则是否正确、对话轮次的命中条件情况的机检是否正确做判断,勾选完成后,点击提交完成复核。