本文为您介绍如何基于外卖评论实现舆情风控。

背景信息

许多商家都有线上留言或评论反馈平台,消费者可以留言以表达自己对消费商品的反馈。消费者的反馈包括表扬性的正向反馈和批评性的负向反馈,商家需要掌握消费者对于商品的整体舆论取向,进而判断自己的商品质量是否符合消费者需求。同时,了解评论内容可以方便商家分析舆论导向,指导产品研发。

商家的评论反馈平台每天都会产生大量留言,传统的方式是通过人工统计进行舆论情绪收集。该方式不仅效率低,而且很难针对大规模舆论进行精确统计,因此需要自动化方式收集并判断留言的舆论导向。PAI平台提供了一套基于文本向量化及分类的算法,可以基于历史标记的正负留言内容生成分类模型,从而自动预测新增留言的导向。该服务的整体框架已预置在PAI-Studio中,基于真实标记的11987条外卖平台评论数据,实现了自动化的正反向舆论风控,准确性达到75%左右。

您可以使用PAI-Studio预置的实验模板,在1~2天内快速实现舆情风控方案,从而对留言进行批量智能化分析。随着评论数据的累计,该模型的准确性会逐渐提高。该方案适用于各种文本分析场景,例如垃圾邮件分类及新闻正反情绪分类。

数据集

本实验的数据集为真实脱敏的外卖平台标记数据,具体的字段如下。
字段名 字段类型 描述
label DOUBLE 标签,含义如下:
  • 1:表示正向评论。
  • 0:表示负向评论。
review STRING 实际的评论数据。
数据的示例如下。原始数据示例

基于外卖评论实现舆情风控

  1. 进入PAI-Studio控制台。
    1. 登录PAI控制台
    2. 在左侧导航栏,选择模型开发和训练 > Studio-可视化建模
    3. PAI可视化建模页面,单击进入机器学习进入机器学习
  2. 构建实验。
    1. 在PAI-Studio控制台的左侧导航栏,单击首页
    2. 模板列表,单击基于外卖评论的舆情风控下的从模板创建
    3. 新建实验对话框,配置参数(可以全部使用默认参数)。
      参数 描述
      名称 输入基于外卖评论的舆情风控
      项目 不支持修改。
      描述 输入利用NLP算法分析外卖评论,判断用户的正负情感。
      位置 选择我的实验
    4. 单击确定
    5. 可选:等待大约十秒钟,在PAI-Studio控制台的左侧导航栏,单击实验
    6. 可选:我的实验下,单击基于外卖评论的舆情风控_XX
      其中我的实验为已配置的实验位置基于外卖评论的舆情风控_XX为已配置的实验名称_XX为系统自动添加的实验序号)。
    7. 系统根据预置的模板,自动构建实验,如下图所示。
      外卖实验
      区域 描述
      数据源,即评论数据。
      停用词。可以过滤助动词及标点符号,需要手动上传停用词表,示例如下。停用词
      文本向量化。使用Doc2vector算法将每个评论转换为语意向量,每行表示一个向量,每个向量表示一个评论的含义。实验运行结束后,您可以右键单击画布中的Doc2Vec-1,在快捷菜单,选择查看数据 > 查看输出桩1,即可查看文本向量表。
      生成分类模型。首先将向量化的文本通过拆分算法,拆分为训练集和测试集。然后将训练集通过逻辑回归算法,训练生成二分类模型,该模型可以判断评论的正反导向。
      通过混淆矩阵算法,验证模型的实际效果。
  3. 运行实验并查看输出结果。
    1. 单击画布上方的运行
    2. 实验运行结束后,右键单击画布中的混淆矩阵-1,在快捷菜单,单击查看评估报告
    3. 混淆矩阵对话框,单击统计信息页签,即可查看模型评估的统计信息。