数据看板

功能概述

数据看板是数据可视化的载体，智能对话机器人数据看板主要分为接待概况、知识分析、多轮对话分析和会话历史四个模块。

其中接待概况主要展示所选机器人在某一段的接待情况；知识分析主要是针对FAQ库里知识问答数据的情况做统计分析；多轮对话分析是针对多轮对话中对话流的问答情况进行统计分析；会话历史展示的是所选机器人在所选时间段中用户与机器人进行的对话。

通过对数据看板有关数据的分析，不仅能够直观看到对话机器人在业务上的应用效果，还能定位到对话机器人在服务用户中存在的问题。

功能入口

进入智能对话机器人主界面后，选中左侧导航栏数据看板项后，根据实际业务需求选中接待概况、知识分析、多轮对话分析、会话历史标签即可查看、下载有关数据。

接待概况

数据指标信息查看

用户可以查看所选机器人在某一时段的接待情况，有关筛选条件和数据指标截图与释义如下：

1. 筛选条件

   • 时间范围：支持设置时间筛选条件为“昨天、最近一周、最近一月和自定义时间范围”。

   • 机器人：可进行机器人的选择，选择想要查看数据的机器人。

   • 数据来源：支持设置数据来源筛查条件为：“C端和测试窗”。

2. 数据指标含义

   • 机器人服务接待量

     • 接待人次：所选机器人在所选时间内，用户的会话量（session量），在智能对话机器人的控制台上就是指打开测试窗的次数。

     • 对话轮次：用户发出一次对话，记为一个对话轮次，含OpenAPI Chat会话，不含OpenAPI Associate会话。通常一个会话（session）由多个对话轮次（chat）组成。该指标用来衡量机器人的对话量。

     • 平均对话轮次：对话轮次/接待人次，表示平均每通会话的对话轮次。该指标表明用户对机器人使用的粘性，会话中平均对话轮次越多，粘性越高。

   • 机器人服务接待效果

     • 解决接待量：排除转人工（如有）、无答案、推荐未点击、点踩（如有）的服务session量（接待人次）。该指标表明机器人服务能力的强弱，解决接待量越高则机器人服务能力越强。

     • 解决率：1-有转人工（如有）、无答案、最后一轮chat推荐未点击、点踩（如有）的服务session量/非直连转人工接待量。

       • 无答案：即对于用户有关问题，机器人无法用现有配置支持给出答案。一通会话中可能存在多个轮次用户和机器人的问答，但只要有一轮问答为无答案该通会话就算无答案。

       • 最后一轮chat推荐未点击：推荐指的是机器人播报澄清话术推荐的问题；最后一轮chat推荐未点击指一通会话中最后一轮chat推荐了问题，但是用户未点击。

       • 非直连转人工接待量：即总session量-第一轮就转到人工的session量。

         说明

         当用户问题没有被机器人直接命中时，机器人通常会推荐3条相关性最高的知识供用户选择，如果机器人推荐后用户未点击，则一定程度上表明机器人推荐的知识点并未满足用户的期待。

     • 答非所问占比：预估答非所问接待人次/接待人次。

       说明

       答非所问是算法通过对一通对话拒识次数、对话轮次、话术过长等特征预测该通对话“机器人答案不是用户想要的或没有解决用户问题”，进而在整通会话维度打的标签，即机器人给出了回答，但这个回答不是用户想要的或没有解决用户问题的会话。

     • 无答案率：出现无答案的对话轮次的session量/总体session量（注意：此处无答案率为session粒度的，即一次会话中只要有一个chat命中了无答案，这个session就是记为无答案的）。

   • 终端用户评价

     • 点评率：点评对话轮次/总对话轮次（配置相应接口后展示该数据）。

     • 点赞率：点赞对话轮次/点评对话轮次（配置相应接口后展示该数据）。

     • 点踩量：点踩对话轮次/点评对话轮次（配置相应接口后展示该数据）。

       说明

       点评率、点赞率、点踩率这几个指标，需要用户在开发C端对话框时，在前端布上点踩点赞按钮；并且调用我们预留的feedback接口，埋赞踩信息。从而保证底层日志里能记录此字段。

图表信息查看与接待明细数据下载

支持展示机器人回答类型分布图和表，方便更加清晰了解机器人接待用户所利用知识及回复情况。有关截图与概念释义如下：

• 机器人回答类型分布表：显示所选时间段内不同答案类型的对话进行的对话轮次。

• 机器人回答类型分布图：用于展示所选时间段内知识点、推荐知识点、多轮对话、语聊、无答案、其他这些答案类型的对话情况。

  说明

  • 其它：当机器人回复答案来源于指令、跨引擎澄清，此时机器人回复答案类型定义为其它。

  • 接待明细数据下载：显示所选时间段接待人次、对话轮次、会话平均轮次等数据。并且可以对有关数据进行下载导出，单次可下载数据量上限为10000条。

知识分析

数据指标信息查看

主要是针对FAQ库里知识问答数据的情况做统计分析，主要统计内容截图与释义如下：

1. 筛选条件

   • 时间范围：支持设置时间筛选条件为“昨天、最近一周、最近一月和自定义时间范围”。

   • 机器人：可进行机器人的选择，选择想要查看数据的机器人。

   • 数据来源：支持设置数据来源筛查条件为：“C端和测试窗”。

2. 数据指标含义

   • 知识总数：指定机器人在所选时间点/时间段内（下同），当前机器人绑定且生效的知识总数（以所选日期区间的最后一天为准）。

   • 有效知识占比：选定时间区间内命中有效知识数/知识总数（以所选日期区间的最后一天为准）。该指标描述的为知识的利用率，在用的知识中有多少在选定时间区间内被命中过，若期间有部分知识删除，则该比率可能大于1。该指标表明知识库中有多少知识是被用户真实提问到的，衡量知识库设计的有效性。

   • 知识命中占比：选定日期区间内知识命中对话轮次/总对话轮次。该指标描述的是选定日期区间内知识的占比，表明知识库有多少问题可以覆盖用户的提问内容。

知识榜单信息查看与知识明细数据下载

支持展示知识被咨询到的频次榜单——热门榜和冷门榜，方便快速切入有关知识的维护工作以保证机器人问答效果。具体榜单截图与有关概念释义如下：

• 热门榜

  • 概念：该部分展示的是在指定时间段内Top问题被咨询到的情况，以知识点被命中的次数（对话轮次）由高到低进行列举。

  • 作用：可以根据热门榜经常性地针对Top问题进行优化，以保证机器人的问答质量。

• 冷门榜

  • 概念：该部分展示的是近30天内指定机器人中从未被任何用户问到的问题，在一定程度上可以反映用户咨询的倾向性。

  • 作用：可以根据冷门榜进行知识的重新设计或者知识归档，此处支持下载后供管理员进行冷门知识分析。

说明

知识明细数据下载：所选机器人所选时间段内，根据用户的提问情况，展示知识库命中详情。并且可以对有关数据进行下载导出，单次可下载数据量上限为10000条。

多轮对话分析

数据指标信息查看

对话工厂分析是针对对话工厂中对话流的问答情况进行统计分析，看板上可以直接获取的数据展示截图与释义如下：

1. 筛选条件

   • 时间范围：支持设置时间筛选条件为“昨天、最近一周、最近一月和自定义时间范围”。

   • 机器人：可进行机器人的选择，选择想要查看数据的机器人。

   • 数据来源：支持设置数据来源筛查条件为：“C端和测试窗”。

2. 数据指标含义

• 对话流总数：所选时间范围的最后一天的对话流总数。

• 有效对话流占比：所选时间范围内被命中过的对话流 / 所选时间范围内的最后一天有效对话流个数。

• 对话工厂命中占比：选定期间多轮对话命中对话轮次/总对话轮次。

多轮对话榜单信息查看与数据下载

1. 多轮对话榜单信息

支持展示多轮对话被咨询问题命中到的频次榜单——热门榜和冷门榜，方便快速切入有关知识的维护工作以保证机器人问答效果。具体榜单截图与有关概念释义如下：

• 热门榜

  • 概念：该部分展示的是在指定时间段内Top问题被咨询到的情况，以对话流被命中的次数（命中对话轮次）由高到低进行列举。

  • 作用：可以根据热门榜经常性地针对Top问题进行优化，以保证机器人的问答质量。

• 冷门榜

  • 概念：该部分展示的是近30天内指定机器人中从未被任何用户问到的问题，在一定程度上可以反映用户咨询的倾向性。

  • 作用：可以根据冷门榜进行对话流的重新设计或者对话流归档，此处支持下载后供管理员进行冷门对话流分析。

2. 对话流明细数据下载

所选机器人在所选时间段内，根据用户对对话流的会话情况，展示对话流的触发详情。并且支持有关数据导出下载。

• 查看对话流节点明细和原声语料时，对话轮次不为0才会有对话数据。

• 对话流明细中有关字段含义：

  • 对话轮次：命中该对话流的对话轮次。

  • case触发量：命中该对话流的session量。

  • case完结量：走到叶子节点或业务完结节点的session量。

  • 完结率：case完结量/case触发量。

  • 跳失率：未走到完结节点的session量 /case触发量。

  • 点赞率：命中该对话流并点赞的case量/命中该对话流并评价的case量。

  • 点踩率：命中该对话流并点踩的case量/命中该对话流并评价的case量。

  • 原声：用户询问问题原声。

会话历史

会话历史明细展示的是所选机器人在所选时间段中用户与机器人进行的对话。会话历史具体界面截图与有关字段含义释义如下：

• 提问时间：每次用户提问的触发时间（当前机器人询问时间）。

• 提问内容：用户提问原声。

• 答案类型：机器人答案的类型，如：知识、多轮对话、FAQ澄清、系统语聊等。

• session_id : 会话的唯一标识。

• chat_id : 用户问题的唯一标识。

• 答案内容：知识点对应的答案内容。

• 知识id：知识所属的类目名称。

• 知识名称：知识所属的类目名称。

• 知识类目：知识所属的类目名称。

• 对话流名称：命中对话流的名称。

• 节点名称：该轮QA命中的对话流节点名称。

• 是否业务完结节点：ds中'sessionFinish' 的值，是否为标识的业务完结节点。

• 意图类型：命中对话流时命中意图的类型（意图命中的来源）。

• 意图详情：命中对话流时命中意图的具体话术。

• 意图名称：命中对话流时命中意图的名称。