本文为您介绍如何基于外卖评论实现舆情风控。

背景信息

许多商家都有线上留言或评论反馈平台,消费者可以留言以表达自己对消费商品的反馈。消费者的反馈包括表扬性的正向反馈和批评性的负向反馈,商家需要掌握消费者对于商品的整体舆论取向,进而判断自己的商品质量是否符合消费者需求。同时,了解评论内容可以方便商家分析舆论导向,指导产品研发。

商家的评论反馈平台每天都会产生大量留言,传统的方式是通过人工统计进行舆论情绪收集。该方式不仅效率低,而且很难针对大规模舆论进行精确统计,因此需要自动化方式收集并判断留言的舆论导向。PAI平台提供了一套基于文本向量化及分类的算法,可以基于历史标记的正负留言内容生成分类模型,从而自动预测新增留言的导向。该服务的整体框架已预置在PAI-Designer中,基于真实标记的11987条外卖平台评论数据,实现了自动化的正反向舆论风控,准确性达到75%左右。

您可以使用PAI-Designer预置的工作流模板,在1~2天内快速实现舆情风控方案,从而对留言进行批量智能化分析。随着评论数据的累计,该模型的准确性会逐渐提高。该方案适用于各种文本分析场景,例如垃圾邮件分类及新闻正反情绪分类。

数据集

本工作流的数据集为真实脱敏的外卖平台标记数据,具体的字段如下。
字段名字段类型描述
labelDOUBLE标签,含义如下:
  • 1:表示正向评论。
  • 0:表示负向评论。
reviewSTRING实际的评论数据。
数据的示例如下。原始数据示例

基于外卖评论实现舆情风控

  1. 进入PAI-Designer页面。
    1. 登录PAI控制台
    2. 在左侧导航栏单击工作空间列表,在工作空间列表页面中单击待操作的工作空间名称,进入对应工作空间内。
    3. 在工作空间页面的左侧导航栏选择模型开发和训练 > 可视化建模(Designer),进入Designer页面。
  2. 构建工作流。
    1. 在PAI-Designer页面,单击预置模板页签。
    2. 工作流模板列表的基于外卖评论的舆情风控区域,单击创建
      基于外卖评论的舆情封控
    3. 新建工作流对话框,配置参数(可以全部使用默认参数)。
      其中:工作流数据存储配置为OSS Bucket路径,用于存储工作流运行中产出的临时数据和模型。
    4. 单击确定
      您需要等待大约十秒钟,工作流可以创建成功。
    5. 在工作流列表,双击基于外卖评论的舆情风控工作流,进入工作流。
    6. 系统根据预置的模板,自动构建工作流,如下图所示。
      外卖工作流
      区域描述
      数据源,即评论数据。
      停用词。可以过滤助动词及标点符号,需要手动上传停用词表,示例如下。停用词
      文本向量化。使用Doc2vector算法将每个评论转换为语意向量,每行表示一个向量,每个向量表示一个评论的含义。工作流运行结束后,您可以右键单击画布中的Doc2Vec-1,在快捷菜单,选择查看数据 > 输出文档向量表,即可查看文本向量表。
      生成分类模型。首先将向量化的文本通过拆分算法,拆分为训练集和测试集。然后将训练集通过逻辑回归算法,训练生成二分类模型,该模型可以判断评论的正反导向。
      通过混淆矩阵算法,验证模型的实际效果。
  3. 运行工作流并查看输出结果。
    1. 单击画布上方的运行
    2. 工作流运行结束后,右键单击画布中的混淆矩阵-1,在快捷菜单,单击可视化分析
    3. 混淆矩阵区域,单击统计信息页签,即可查看模型评估的统计信息。