相似标签自动归类

准备数据集

您需要前往DataWorks数据开发模块，新建一个只包含一个列名为content的表，并将上述准备好的数据上传至该表中。具体操作，请参见建表并上传数据。

相似标签自动归类

1. 进入Designer页面。

   1. 登录PAI控制台。

   2. 在左侧导航栏单击工作空间列表，在工作空间列表页面中单击待操作的工作空间名称，进入对应工作空间内。

   3. 在工作空间页面的左侧导航栏选择模型开发与训练 > 可视化建模（Designer），进入Designer页面。

2. 新建自定义工作流，并进入工作流页面，详情请参见新建自定义工作流。

3. 构建并运行工作流。

   1. 在左侧组件列表，将源/目标下的读数据表组件拖入画布中，并重命名为shopping_data-1。

   2. 在左侧组件列表，将自然语言处理 > 基础NLP下的Split Word、词频统计及Word2Vec组件拖入画布中。

   3. 在左侧组件列表，将数据预处理下的增加序号列和类型转换组件拖入画布中。

   4. 在左侧组件列表，将机器学习 > 聚类下的K均值聚类组件拖入画布中。

   5. 在左侧组件列表，将自定义脚本下的SQL脚本组件拖入画布中。

   6. 将以上组件拼接为如下工作流，参照下表配置组件的关键参数，并运行组件。

   

   序号	描述
   ①	上传shopping_data数据，并通过分词组件对数据进行分词，具体操作步骤如下： 在画布中单击shopping_data-1组件，并在右侧表选择页签配置已准备好的表名。 在画布中单击Split Word-1组件，并在右侧字段设置页签，选择列名为content。 首先单击shopping_data-1组件，在快捷菜单，单击执行该节点。待该组件执行完成后，再以相同的方式执行Split Word-1组件。
   ②	增加序号列。由于上传的数据只有一个字段，需要通过增加序号列为每个数据增加主键。 首先单击增加序号列-1组件，在快捷菜单，单击执行该节点。待该组件执行完成后，再以相同的方式执行类型转换-1组件。 处理后的结果示例如下图所示。
   ③	统计词频，展示每个商品中出现的各种词语数量。 在画布中单击词频统计-1组件，在右侧字段设置页签，分别设置选择文档ID列为append_id，选择文档内容列为content。 单击词频统计-1组件，在快捷菜单，单击执行该节点。
   ④	使用Word2Vec组件将每个词语按照意义在向量维度展开，生成词向量。词向量的含义包括： 向量距离近的两个词，其真实含义比较相近。 不同词之间的距离差值具有一定意义。 经过Word2Vec组件将每个词映射到百维空间上。 在画布中单击Word2Vec-1组件，在右侧字段设置页签，设置选择单词列为word，在参数设置页签，选中采用hierarchical softmax。 单击Word2Vec-1组件，在快捷菜单，单击执行该节点。 结果示例如下图所示。
   ⑤	词向量聚类。使用K均值聚类算法，在已经产生的词向量基础上，计算词向量的距离，并按照意义将标签词自动归类。 在画布中单击K均值聚类-1组件，在右侧字段设置页签，选择特征列为f0，附加列为word。 说明 该组件在运行时，其上游输入数据表的行数必须大于或等于该组件参数中设定的聚类数目。 单击K均值聚类-1组件，在快捷菜单，单击执行该节点。 其结果展示每个词所属的聚类簇，结果示例如下图所示。
   ⑥	结果验证。通过SQL脚本-1组件，在聚类簇中随意挑选一个类别，判断是否对同一类别的标签进行了自动归类。本工作流选用第10组聚类簇，在画布中单击SQL脚本-1组件，在右侧参数设置页签，配置SQL脚本为select * from ${t1} where cluster_index=10。 结果示例如下图所示。 上述结果中，系统自动将与地理相关的标签进行了归类，但是混入了坚果等明显与类别不符的标签，可能是训练样本数量不足导致的。如果训练样本足够大，则标签聚类结果会非常准确。