智能文创解决方案

使用流程

基于阿里云PAI，智能文创解决方案的使用流程如下。

1. 步骤一：准备数据

   将训练数据集和验证数据集上传到OSS Bucket中，用于后续的文本摘要模型训练和预测。

2. 步骤二：构建文本摘要模型

   在Designer可视化建模平台，使用文本摘要训练组件，基于海量大数据语料预训练获得的NLP预训练模型，构建文本摘要模型。

3. 步骤三：离线批量预测

   在Designer可视化建模平台，使用文本摘要预测组件，基于海量文本数据、文本摘要模型或PAI默认的模型，进行批量离线预测生成文本摘要。

4. 步骤四：部署及调用模型服务

   通过模型在线服务EAS，您可以将训练好的文本摘要模型部署为在线服务，并在实际的生产环境调用，从而实现在线生成文本摘要。

步骤一：准备数据

1. 准备训练数据集和验证数据集。

   本文使用某个新闻数据集的一个子集进行模型训练和预测。训练数据集和预测数据集具体格式要求如下。

   需要准备的数据	格式	包含列	数据集示例文件
   训练数据集	TSV或TXT	新闻摘要列 新闻原文列	cn_train.tsv
   验证数据集	TSV或TXT	新闻标题摘要列 新闻原文列 新闻标题摘要分词结果列（非必须） 新闻原文分词结果列（非必须） 新闻类别标签列（非必须）	cn_dev.tsv

2. 将数据集上传至OSS Bucket，具体操作，请参见控制台上传文件。

   说明

   如果您需要利用自己的数据集对模型进行微调，则需要提前将数据集上传至OSS Bucket中。

步骤二：构建文本摘要模型

1. 进入PAI-Designer页面，并创建空白工作流，具体操作请参见操作步骤。

2. 在工作流列表，选择已创建的空白工作流，单击进入工作流。

3. 在工作流页面，分别拖入以下组件，并根据下文的组件参数配置组件。

   

   区域	描述
   ①	配置实验的训练数据集，即配置读OSS数据组件的OSS数据路径参数为训练数据集在OSS Bucket中的存储路径。
   ②	配置实验的验证数据集，即配置读OSS数据组件的OSS数据路径参数为验证数据集在OSS Bucket中的存储路径。
   ③	配置文本摘要模型训练的参数。文本摘要训练组件的配置详情，请参见下文的文本摘要训练组件的配置。

   表 1. 文本摘要训练组件的配置

   页签	参数	描述	本案例使用的示例值
   字段设置	输入数据格式	输入文件中每列的数据格式，多列之间使用半角逗号（,）分隔。	title_tokens:str:1,content_tokens:str:1
   	原文列选择	新闻原文在输入文件中对应的列名。	content_tokens
   	摘要列选择	新闻摘要在数据文件中对应的列名。	title_tokens
   	模型存储路径	配置OSS Bucket中的目录，用来存储文本摘要训练生成的模型文件。	oss://exampleBucket.oss-cn-shanghai-internal.aliyuncs.com/exampledir
   参数设置	预训练模型	预训练模型名称。	alibaba-pai/mt5-title-generation-zh
   	批次大小	训练过程中的批处理大小。如果使用多机多卡，则表示每个GPU上的批处理大小。	8
   	文本最大长度	表示系统可处理的序列整体最大长度。	512
   	迭代轮数	训练总Epoch的数量。	3
   	学习率	模型构建过程中的学习率。	3e-5
   	保存模型文件步数	表示每训练多少步，对模型进行评价，并保存当前最优模型。	150
   	语言	表示当前文本处理的语言： zh：中文 en：英文	zh
   	是否从原文中拷贝文本	表示是否采用复制机制，取值如下： false：（默认值），表示不拷贝。 true：表示拷贝。	false
   	解码器最小长度	表示解码器最小长度，模型输出长度大于该值。	12
   	解码器最大长度	表示解码器最大长度，模型输出长度小于该值。	32
   	最小不重复字段	表示不重复的片段大小。例如：当取值为1时，不会生成类似“天天”等结果。	2
   	集束搜索数量	模型生成候选答案时的搜索空间，该值越大，预测越慢。	5
   	返回候选答案数量	模型返回的排名靠前的候选结果数量。	5
   执行调优	GPU机器类型	计算资源的GPU机型。默认值为gn5-c8g1.2xlarge，表示8核CPU、80G内存、P100单卡。	gn5-c8g1.2xlarge

步骤三：离线批量预测

1. 配置离线预测工作流。

   文本摘要预测组件有以下两种工作方式。

   • 方式一：利用文本摘要训练组件生成的模型进行预测并生成摘要。

     您需要在步骤二的工作流页面，参照下图补充拖入组件，并根据下文的组件参数配置组件。

   • 方式二：将PAI默认模型上传至OSS Bucket，并接入文本摘要预测组件进行预测并生成摘要。

     您需要参照步骤二创建新的空白工作流，参照下图拖入组件，并根据下文的组件参数配置组件。

   区域	描述
   ①	配置实验的预测数据集（使用步骤一中的验证数据集作为预测数据集），即配置读OSS数据组件的OSS数据路径参数为验证数据集在OSS Bucket中的存储路径。
   ②	配置文本摘要模型预测的参数。文本摘要预测组件的配置详情，请参见文本摘要预测组件的配置。

   表 2. 文本摘要预测组件的配置

   页签	参数	描述	本案例使用的示例值
   字段设置	输入数据格式	输入文件的每列的数据格式，多列之间使用半角逗号（,）分隔。	title:str:1,content:str:1,title_tokens:str:1,content_tokens:str:1,tag:str:1
   	原文列选择	新闻原文在输入文件中对应的列名。	content
   	输出追加列选择	将输入文件的若干文本列追加到输出文本列之后，多列之间使用半角逗号（,）分隔。	title_tokens,content,tag
   	输出列选择	选择输出列，多列之间使用半角逗号（,）分隔。	predictions,beams
   	预测数据输出	配置预测结果文件在OSS Bucket中的路径。	oss://exampleBucket.oss-cn-shanghai-internal.aliyuncs.com/exampledir/pred_data.tsv
   	使用自有模型	是否使用PAI默认模型，进行直接预测。取值如下： 是：当文本摘要预测组件使用方式二时，配置为是。 您需要在模型存储路径参数中配置PAI默认模型在OSS Bucket中的存储路径。 否：当文本摘要预测组件使用方式一时，配置为否。	否
   	是否为Megatron模型	仅支持文本摘要训练组件中列出的带mg前缀的预训练模型。取值如下： 否（默认值） 是	否
   参数设置	批次大小	预测过程中的批处理大小。如果使用多机多卡，则表示每个GPU上的批处理大小。	8
   	文本最大长度	表示系统可处理的序列整体最大长度。	512
   	语言	表示当前文本处理的语言： zh：中文。 en：英文。	zh
   	是否从原文中拷贝文本	输出结果是否从文本中拷贝文本片段： false：（默认值），表示不拷贝。 true：表示拷贝。	false
   	解码器最小长度	表示解码器最小长度，模型输出长度大于该值。	12
   	解码器最大长度	表示解码器最大长度，模型输出长度小于该值。	32
   	最小不重复字段	表示不重复的片段大小。	2
   	集束搜索数量	表示集束搜索大小。该值越大，预测越慢。	5
   	返回候选答案数量	表示返回结果的数量。	5
   执行调优	GPU机器类型	计算资源的GPU机型。默认值为gn5-c8g1.2xlarge，表示8核CPU、80G内存、P100单卡。	gn5-c8g1.2xlarge

2. 单击画布上方的运行。

3. 实验运行成功后，您可以在文本摘要训练组件模型存储路径配置的OSS Bucket目录中，下载生成的模型文件和配置文件。

步骤四：部署及调用模型服务

通过模型在线服务EAS，您可以将训练好的文本摘要模型部署为在线服务，并在实际的生产环境中调用，从而进行推理实践。

1. 首先将训练好的模型及其他相关配置文件打包。

   如果您希望使用PAI默认的模型进行部署，请跳过此步。以下介绍文本摘要模型的打包方式。

   首先将训练得到的模型，及其他配置文件打包为tgz格式，并上传至OSS Bucket。模型和配置文件的目录结构如下所示。

   finetuned_zh_model
   |--config.json
   |--label_mapping.json
   |--pytorch_model.bin
   |--train_config.json
   |--vocab.txt

   您可以使用以下命令，将目录打包为tgz格式。

   tar -zcvf finetuned_zh_model.tgz finetuned_zh_model/*

2. 进入模型在线服务（EAS）页面。

   1. 登录PAI控制台。

   2. 在左侧导航栏单击工作空间列表，在工作空间列表页面中单击待操作的工作空间名称，进入对应的工作空间。

   3. 在工作空间页面的左侧导航栏选择模型部署 > 模型在线服务（EAS），进入模型在线服务（EAS）页面。

3. 部署模型服务。

   1. 在模型在线服务（EAS）页面，单击部署服务。

   2. 在部署服务页面，配置参数。

      如果您希望部署自行训练的模型，模型文件参数需要配置第1步打包的文件在OSS Bucket的路径。

      参考以下内容，确认服务配置信息是否正确。

      {
          "metadata": {
              "instance": 1
          },
          "cloud": {
              "computing": {
                  "instance_type": "ecs.gn6v-c8g1.2xlarge"
              }
          },
          "name": "test_sum_new",
          "model_path": "oss://examplebucket/linshi/linshi_text/finetuned_zh_model.tgz",
          "processor_type": "python",
          "processor_path": "https://atp-modelzoo-sh.oss-cn-shanghai.aliyuncs.com/release/eas/EasyNLP_text_sum_202209201840.tar.gz",
          "processor_entry": "./app.py"
      }
                                      

   3. 单击部署，等待一段时间即可完成模型部署。

4. 调试模型服务。

   1. 在模型在线服务（EAS）页面，单击目标服务操作列下的在线调试。

   2. 在调试页面的在线调试请求参数区域的Body处填写如下内容。

      [
          {"content": "在广州第一人民医院，一个上午6名患者做支气管镜检查，5人查出肺癌，且4人是老烟民！专家称，吸烟和被动吸烟是肺癌的主要元凶，而二手烟、三手烟（即吸烟后滞留在室内或衣服、头发等的微粒和气体）与吸烟危害性一样大！"},
          {"content": "国佛罗里达大学博士后于鹭岛缔结菩提姻缘，以问讯代替接吻，香赞代替誓词，在白鹿洞寺法王宝殿举行的佛化婚礼，两位新人将永生难忘。佛化婚礼不同于一般结婚仪式，是将婚礼融入佛教礼节，场面庄严隆重。"}
      ]

   3. 单击发送请求，即可在调试信息区域查看预测结果，如下图所示。

      

5. 查看模型服务的公网地址和访问Token。

   1. 在模型在线服务（EAS）页面，单击目标服务服务方式列下的调用信息。

   2. 在调用信息对话框的公网地址调用页签，查看公网调用的访问地址和Token。

6. 使用脚本进行批量调用。

   1. 创建调用模型服务的Python脚本eas_text_sum.py。

      #!/usr/bin/env python
      #encoding=utf-8
      from eas_prediction import PredictClient
      from eas_prediction import StringRequest
      if __name__ == '__main__':
          #下面的client = PredictClient()入参需要替换为实际的访问地址。
          client = PredictClient('http://1664xxxxxxxxxxx.cn-hangzhou.pai-eas.aliyuncs.com', 'text_sum_new')
          #下面的Token需要替换为实际值。
          client.set_token('<token>')
          client.init()
          #输入请求需要根据模型进行构造，此处仅以字符串作为输入输出的程序为例。
          request = StringRequest('[\
          {"content": "在广州第一人民医院，一个上午6名患者做支气管镜检查，5人查出肺癌，且4人是老烟民！专家称，吸烟和被动吸烟是肺癌的主要元凶，而二手烟、三手烟（即吸烟后滞留在室内或衣服、头发等的微粒和气体）与吸烟危害性一样大！"},\
          {"content": "国佛罗里达大学博士后于鹭岛缔结菩提姻缘，以问讯代替接吻，香赞代替誓词，在白鹿洞寺法王宝殿举行的佛化婚礼，两位新人将永生难忘。佛化婚礼不同于一般结婚仪式，是将婚礼融入佛教礼节，场面庄严隆重。"}\
      ]')
          for x in range(0, 1):
              resp = client.predict(request)
              print(str(resp.response_data, 'utf8'))
      print("test ending")

      其中：

      • client：需要配置为服务访问地址和服务名称。请参照示例代码进行配置。

      • <token>：替换为服务Token。

   2. 将eas_text_sum.py的Python脚本上传至您的任意环境，并在脚本上传后的当前目录执行如下调用命令。

      python <eas_text_sum.py>

      其中<eas_text_sum.py>需要替换为实际的Python脚本名称。

7. 监控服务指标。调用模型服务后，您可以查看模型调用的相关指标水位，包括QPS、RT、CPU、GPU及Memory。

   1. 在模型在线服务（EAS）页面，单击已调用服务服务监控列下的图标。

   2. 在服务监控页签，即可查看模型调用的指标水位。从下面的服务监控水位图中可以看到，本案例部署的模型预测一条数据的时延在200 ms左右。您自己的模型时延以实际为准。