本文为您介绍如何通过PAI提供的文本类组件，快速构建文本分类模型。
背景信息
新闻分类是文本挖掘领域较为常见的场景。很多媒体或内容生产商对于新闻文本的分类通常采用手工标注的方式，消耗了大量的人力资源。PAI提供的智能文本挖掘算法可以实现新闻文本分类自动化（包括分词、词型转换、停用词过滤、主题挖掘及聚类等流程）。本实验首先通过PLDA算法挖掘文章的主题，然后进行主题权重聚类，从而实现新闻自动分类。
说明 本实验数据为虚构数据，仅用于学习。
数据集
本实验数据的具体字段如下。
实验的示例数据如下。
| 字段名 | 类型 | 描述 |
|---|---|---|
| category | STRING | 新闻类型，包括体育、女性、社会、军事及科技等。 |
| title | STRING | 新闻标题。 |
| content | STRING | 新闻内容。 |
基于文本分析算法实现新闻分类
- 进入PAI-Studio控制台。
- 登录PAI控制台。
- 在左侧导航栏，选择。
- 在PAI可视化建模页面，单击进入机器学习。
- 构建实验。
- 系统根据预置的模板，自动构建实验，如下图所示。
区域 描述 ① 增加序列号。本实验的数据源以单个新闻为单元，需要增加ID列作为每篇新闻的唯一标识，便于算法计算。 ② 分词及词频统计。首先使用分词组件对content字段（新闻内容）进行分词。然后对过滤停用词后的文本进行词频统计。 ③ 过滤停用词，通常过滤标点符号及对文章影响较小的助语等。 ④ 挖掘文本主题： - PLDA文本挖掘组件的输入必须为三元形式，因此使用三元组转kv组件将文本转换为三元形式（文本转换为数字）。
其中：
- append_id：每篇新闻的唯一标识。
- key_value：冒号前面的数字表示单词抽象成的数字标识，冒号后面的数字表示对应的单词出现频率。
- 使用PLDA组件训练模型。
PLDA算法（主题模型）可以定位每篇文章的主题词语。本实验配置了50个主题，PLDA组件的第五个输出桩输出每篇文章对应每个主题的概率。
⑤ 结果分析和评估。通过以上步骤已经将文本从主题维度转换成了向量，可以通过向量距离实现聚类，从而实现文本分类。 - PLDA文本挖掘组件的输入必须为三元形式，因此使用三元组转kv组件将文本转换为三元形式（文本转换为数字）。
- 系统根据预置的模板，自动构建实验，如下图所示。
- 运行实验并查看模型效果。
- 实验运行结束后，右键单击画布中的K均值聚类-1，在快捷菜单，单击，即可查看分类结果。
其中：
- cluster_index：表示每一类的名称。
- append_id：每篇新闻的唯一标识。例如，第115、292、248及166篇新闻都属于第0类。
- 右键单击画布中的过滤与映射-1，在快捷菜单，单击查看数据，即可查看append_id为115、292、248及166的新闻。
本实验的新闻分类结果不够理想（两篇体育类、一篇财经类及一篇科技类新闻分到了同一类中），主要原因如下：
- 实验数据量较小。
- 仅针对业务场景介绍文本分析算法的使用方法，未对数据集进行特征工程处理及细节调优。
因为本实验模板已为过滤与映射-1配置了过滤条件，所以您可以直接查看append_id为115、292、248及166的新闻。如果需要查看其它新闻，则可以参见如下示例，将过滤与映射-1组件的过滤条件配置为相应的新闻ID。append_id=292 or append_id=115 or append_id=248 or append_id=166 ;
- 实验运行结束后，右键单击画布中的K均值聚类-1，在快捷菜单，单击，即可查看分类结果。