基于外卖评论实现舆情风控

本文为您介绍如何基于外卖评论实现舆情风控。

背景信息

许多商家都有线上留言或评论反馈平台,消费者可以留言以表达自己对消费商品的反馈。消费者的反馈包括表扬性的正向反馈和批评性的负向反馈,商家需要掌握消费者对于商品的整体舆论取向,进而判断自己的商品质量是否符合消费者需求。同时,了解评论内容可以方便商家分析舆论导向,指导产品研发。

商家的评论反馈平台每天都会产生大量留言,传统的方式是通过人工统计进行舆论情绪收集。该方式不仅效率低,而且很难针对大规模舆论进行精确统计,因此需要自动化方式收集并判断留言的舆论导向。PAI平台提供了一套基于文本向量化及分类的算法,可以基于历史标记的正负留言内容生成分类模型,从而自动预测新增留言的导向。该服务的整体框架已预置在Designer中,基于真实标记的11987条外卖平台评论数据,实现了自动化的正反向舆论风控,准确性达到75%左右。

您可以使用Designer预置的工作流模板,在1~2天内快速实现舆情风控方案,从而对留言进行批量智能化分析。随着评论数据的累计,该模型的准确性会逐渐提高。该方案适用于各种文本分析场景,例如垃圾邮件分类及新闻正反情绪分类。

数据集

本工作流的数据集为真实脱敏的外卖平台标记数据,具体的字段如下。

字段名

字段类型

描述

label

DOUBLE

标签,含义如下:

  • 1:表示正向评论。

  • 0:表示负向评论。

review

STRING

实际的评论数据。

数据的示例如下。原始数据示例

基于外卖评论实现舆情风控

  1. 进入Designer页面。

    1. 登录PAI控制台

    2. 在左侧导航栏单击工作空间列表,在工作空间列表页面中单击待操作的工作空间名称,进入对应的工作空间。

    3. 在工作空间页面的左侧导航栏选择模型开发与训练 > 可视化建模(Designer),进入Designer页面。

  2. 构建工作流。

    1. Designer页面,单击预置模板页签。

    2. 在模板列表的基于外卖评论的舆情风控区域,单击创建

    3. 新建工作流对话框,配置参数(可以全部使用默认参数)。

      其中:工作流数据存储配置为OSS Bucket路径,用于存储工作流运行中产出的临时数据和模型。

    4. 单击确定

      您需要等待大约十秒钟,工作流可以创建成功。

    5. 在工作流列表,双击基于外卖评论的舆情风控工作流,进入工作流。

    6. 系统根据预置的模板,自动构建工作流,如下图所示。

      外卖工作流

      区域

      描述

      数据源,即评论数据。

      停用词。可以过滤助动词及标点符号,需要手动上传停用词表,示例如下。image.png

      文本向量化。使用Doc2Vec算法将每个评论转换为语义向量,每行表示一个向量,每个向量表示一个评论的含义。工作流运行结束后,您可以右键单击画布中的Doc2Vec,在快捷菜单中选择查看数据 > 输出文档向量表,即可查看文本向量表。

      生成分类模型。首先将向量化的文本通过拆分算法,拆分为训练集和测试集。然后将训练集通过逻辑回归算法,训练生成二分类模型,该模型可以判断评论的正反导向。

      通过混淆矩阵算法,验证模型的实际效果。

  3. 运行工作流并查看输出结果。

    1. 单击画布上方的image

    2. 工作流运行结束后,右键单击画布中的混淆矩阵,在快捷菜单,单击可视化分析

    3. 混淆矩阵区域,单击统计信息页签,即可查看模型评估的统计信息。