数据看板

数据看板展示的模块:接待概况、知识分析、对话工厂分析、服务能力、会话历史。

接待概况

用户可以查看所选机器人在某一时段的接待情况,除此之外还可以看到所选机器人截止到查看日期已经存在于智能对话机器人平台的时间。

1

上图中的各项指标的解释如下:

机器人:可进行机器人的选择,选择想要查看数据的机器人(下同)。

时间:时间可以选择某一天,也可选择某一时间段,但是不管用户选择多长的时间段,显示的数据都是当前时间之前90天的接待数据(下同)。

接待人次:所选机器人在所选时间内,用户的会话量(session量),在智能对话机器人的控制台上就是指打开测试窗的次数。

对话轮次:用户每发出一次对话请求(向机器人提一个问题),则对话轮次+1,通常一个会话(session)由多个对话轮次组成。该指标用来衡量机器人的对话量。

平均对话轮次:对话轮次/接待人次,表示平均每通会话的对话轮次。该指标表明用户对机器人使用的粘性,平均对话轮次越多,粘性越高。

解决接待量:排除转人工(如有)、无答案、推荐未点击、点踩(如有)的服务session量(接待人次)。该指标表明机器人服务能力的强弱,解决接待量越高则机器人服务能力越强。

未解决率:有转人工(如有)、无答案、推荐未点击、点踩(如有)的服务session量/总体session量。

无答案率:出现无答案的对话轮次的session量/总体session量(注意:此处无答案率为session粒度的,即一次会话中只要有一个chat命中了无答案,这个session就是记为无答案的)。

点评量:用户参与评价的对话数(chat量,配置相应接口后展示该数据)

点赞量:用户点赞的对话数(chat量,配置相应接口后展示该数据)

点踩量:用户点踩的对话数(chat量,配置相应接口后展示该数据)

注意:点评率、点赞率、点踩率这几个指标,需要用户在开发C端对话框时,在前端布上点踩点赞按钮;并且调用我们预留的feedback接口,埋赞踩信息。从而保证底层日志里能记录此字段。

1

上图中的各项指标的解释如下:

机器人回答类型分布表:显示所选时间段内不同答案类型的对话进行的对话轮次。

机器人回答类型分布图:用于展示所选时间段内知识点、推荐知识点、对话工厂、语聊、无答案、指令转人工、其他这些答案类型的对话情况。

1

接待明细数据:显示所选时间段接待人次、对话轮次、会话平均轮次、解决接待量、知识对话轮次、对话工厂对话轮次、推荐对话轮次、语聊对话轮次、无答案对话轮次,并且可以对该数据进行下载导出。

知识分析

知识分析主要是针对FAQ库里知识问答数据的情况做统计分析,主要统计以下内容:

知识总数:指定机器人在所选时间点/时间段内(下同),当前机器人绑定且生效的知识总数(以所选日期区间的最后一天为准)。

有效知识占比:近7日命中有效知识数/最后一天绑定且生效的知识总数(若选择一段时间,则展示所选日期区间内的最后一天数据)<该指标描述的为知识的利用率,在用的知识中有多少在近7天内被命中过,若期间有部分知识删除,则该比率可能大于1>,该指标表明知识库中有多少知识是被用户真实提问到的,衡量知识库设计的有效性。

知识命中占比:选定日期区间内知识命中对话轮次/总对话轮次<该指标描述的是选定日期区间内知识的占比>,该指标表明知识库有多少问题可以覆盖用户的提问内容。

1

下图中的各项指标的解释如下:

热门榜:该部分展示的是在指定时间段内Top问题被咨询到的情况,以知识点被命中的次数(对话轮次)由高到低进行列举。管理员可以根据热门榜经常性地针对Top问题进行优化,以保证机器人的问答质量。

冷门榜:该部分展示的是近30天内指定机器人中从未被任何用户问到的问题,在一定程度上可以反映用户咨询的倾向性。管理员可以根据冷门榜进行知识的重新设计或者知识归档,此处支持下载后供管理员进行冷门知识分析。(展示2000条,可下载20000条,日期筛选器需选择单日期)。

数据看板1-6

下图中的各项指标的解释如下:

1

知识明细:所选机器人所选时间段内,根据用户的提问情况,展示知识库命中详情。(展示2000条,可下载20000条)

  • 核心词:知识对应的关键词名称。

  • 知识id:知识对应的id。

  • 知识名称:知识对应的名称。

  • 类目:知识所属知识类目名称。

  • 直接命中次数:直接命中该知识的对话轮次。

  • 推荐命中次数:命中知识推荐的对话轮次。

  • 推荐点击率:推荐点击次数/推荐命中次数。

  • 原声

    • 知识id

    • 知识名称

    • 用户原声:用户询问问题原声

    • 答案类型:推荐知识点和知识点

    • 是否推荐未点击

对话工厂分析

对话工厂分析是针对对话工厂中对话流的问答情况进行统计分析,看板上可以直接获取的数据如下:

对话流总数:当前机器人下的对话流总数(以所选日期区间的最后一天为准)。

有效对话流占比:7日命中有效对话流/最后一天的对话流总数(若选择一段时间,则展示选日期区间内的最后一天数据)。

对话工厂命中占比:选定期间对话工厂命中对话轮次/总对话轮次<该指标描述的是选定日期区间内对话流的占比>。

1

下图中的各项指标的解释如下:

热门榜:该部分展示的是在指定时间段内Top问题被咨询到的情况,以对话流被命中的次数(命中对话轮次)由高到低进行列举。管理员可以根据热门榜经常性地针对Top问题进行优化,以保证机器人的问答质量。

冷门榜:该部分展示的是近30天内指定机器人中从未被任何用户问到的问题,在一定程度上可以反映用户咨询的倾向性。管理员可以根据冷门榜进行对话流的重新设计或者对话流归档,此处支持下载后供管理员进行冷门对话流分析。(展示2000条,可下载20000条,日期筛选器需选择单日期)。

1

对话流明细:所选机器人在所选时间段内,根据用户对对话流的会话情况,展示对话流的触发详情。注:查看对话流节点明细和原声语料时,对话轮次不为0才会有对话数据

  • 对话流名称。

  • 节点明细。

    • 对话流名称。

    • 节点名称:该对话流下命中的节点名称。

    • 对话轮次:节点命中的对话轮次。

  • 对话轮次:命中该对话流的对话轮次。

  • case触发量:命中该对话流的session量。

  • case完结量:走到叶子节点或业务完结节点的session量。

  • 完结率:case完结量/case触发量。

  • 跳失率:未走到完结节点的session量 /case触发量。

  • 点赞率:命中该对话流并点赞的case量/命中该对话流并评价的case量。

  • 点踩率:命中该对话流并点踩的case量/命中该对话流并评价的case量。

  • 原声

    • 日期

    • 对话流名称

    • 节点名称

    • 用户原声:用户询问问题原声

    • 对话流是否跳失:该session是否走到叶子节点或业务完结节点

1

服务能力

下图中的各项指标的解释如下:

无答案率:出现无答案的session量/总session量,衡量机器人对用户问题的覆盖能力。无答案率越低,机器人的覆盖能力越高。管理员可以通过维护知识库或对话工厂的方式,逐渐补充机器人暂时还不能回答的用户问题,以提升机器人的覆盖能力。

推荐未点击率:最后一轮对话时推荐知识点但未被点击的session量 / 推荐知识点的session量,衡量机器人推荐知识点的准确率。当用户问题没有被机器人直接命中时,机器人通常会推荐3条相关性最高的知识供用户选择,如果机器人推荐后用户未点击,则一定程度上表明机器人推荐的知识点并未满足用户的期待。

提升方案:根据关键词和详细的用户原声,对无答案问题和推荐未点击的问题进行聚类,帮助管理员分析线上问答中机器人未能覆盖的情况,管理员可以通过进一步完善知识库或对话工厂的方式提升机器人整体问答质量。

无答案聚类:针对用户原声,通过聚类算法将无答案的问题归类,方便管理员有针对性地进行知识点的补充和优化。

推荐未点击聚类:针对用户原声,对触发推荐知识点的用户问题进行聚类,方便管理员有针对性地进行知识点的更新和优化。

1

会话历史

1

下图中的各项指标的解释如下:

会话历史明细:展示的是所选机器人在所选时间段中用户与机器人进行的对话。

提问时间:每次用户提问的触发时间(当前机器人询问时间)。

提问内容:用户提问原声。

答案类型:机器人答案的类型,如:知识点、对话工厂、推荐知识点、语聊等。

session_id : 会话的唯一标识。

chat_id : 用户问题的唯一标识。

答案内容:知识点对应的答案内容(知识为知识标题,ds为ds返回的答案,语聊为用户返回的答案)。

知识id:知识对应的ID。

知识名称:知识对应的名称。

知识类目:知识所属的类目名称。

对话流名称:命中对话流是有值。

节点名称:该轮QA命中的对话流节点名称。

是否业务完结节点:ds中'sessionFinish' 的值,是否为标识的业务完结节点。

意图类型:命中对话流时命中意图的类型(意图命中的来源)。

意图详情:命中对话流时命中意图的具体话术。

意图名称:命中对话流时命中意图的名称。

  • 单日期和多日期最多展现5000条记录;

  • 多日期建议分批进行语料查看和下载;

  • 最多支持自登录日期起近90天的语料。