使用EasyRec构建推荐模型

数据集

本文使用天池平台上的淘宝点击数据，详情请参见数据集。

步骤一：创建工作流

1. 进入数据开发页面。

   登录DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据开发与治理 > 数据开发，在下拉框中选择对应工作空间后单击进入数据开发。

2. 在数据开发页面，鼠标悬停至图标，单击新建业务流程。

3. 在新建业务流程对话框中，输入业务名称和描述。

4. 单击新建。

5. 在业务流程页面，创建PAI Designer节点。

   1. 单击新建节点，拖拽算法 > PAI Designer至右侧画布。

   2. 在新建节点页面的名称文本框中，输入prepare_train_data，其他参数使用默认值。

   3. 单击确认。

6. 在业务流程页面，创建MaxCompute SQL节点。

   1. 拖拽MaxCompute > ODPS SQL至右侧画布。

   2. 在新建节点页面的名称文本框，输入EasyRec_train，其他参数使用默认值。

   3. 单击确认。

7. 在业务流程页面，创建Shell节点。

   1. 拖拽通用 > Shell至右侧画布。

   2. 在新建节点页面的名称文本框，输入deploy，其他参数使用默认值。

   3. 单击确认。

步骤二：训练并部署模型

1. 准备数据。

   您可以直接使用处理后的样本表：训练表为pai_online_project.easyrec_demo_taobao_train_data，评估表为pai_online_project.easyrec_demo_taobao_test_data，即省略PAI Designer节点，直接从MaxCompute SQL节点开始。

   您也可以按照以下流程准备数据。将天池平台上淘宝点击数据整合后的表为pai_online_project.easyrec_demo_taobao_ori_data，该数据集除大部分STRING类型的IdFeature类特征外，还有一列DOUBLE类型的Price特征（RawFeature类特征），需要使用Designer的分箱组件进行特征工程，您可以为已创建的机器学习节点关联如下Designer工作流（只能关联与DataWorks在同一地域的Designer工作流），详情请参见创建机器学习（PAI）节点。具体的实验流程如下。

   序号	描述
   ①	读入数据。
   ②	分割出训练数据。
   ③	分割出评估数据。
   ④	Shuffle过程。
   ⑤	使用分箱组件，进行等频离散。
   ⑥	根据等频离散的结果，对数据进行转换。
   ⑦	将训练数据写入表。
   ⑧	将评估数据写入表。

2. 训练并导出模型。

   在已创建的DataWorks的MaxCompute SQL节点中，执行如下命令，进行模型训练。

   PAI -project algo_public -name easy_rec_ext 
       -Darn="acs:ram::XXXXX:role/AliyunODPSPAIDefaultRole" 
       -Dbuckets="oss://examplebucket/xxx/" 
       -Dcluster="{\"ps\":{\"count\":2,\"cpu\":1000,\"memory\":40000},\"worker\":{\"count\":8,\"cpu\":1000,\"memory\":40000}}" 
       -Dcmd="train" 
       -Dconfig="oss://examplebucket/xxx/multitower.config" 
       -DossHost="oss-cn-region_name-internal.aliyuncs.com" 
       -Dtrain_tables="odps://pai_online_project/tables/easyrec_demo_taobao_train_data" 
       -Deval_tables="odps://pai_online_project/tables/easyrec_demo_taobao_test_data"
       -Dmodel_dir="oss://examplebucket/xxx/"
       -Dwith_evaluator=1;

   命令中的参数如下所示，需要根据实际情况替换参数值。

   参数	描述	示例
   project	工程名。EasyRec算法所在的project，默认为algo_public，通常不需要修改。仅特殊情况（EasyRec官方另行通知时）才需要修改。	algo_public
   arn	ARN的角色名称。您可以登录PAI控制台，在开通和授权 > 全部云产品依赖页面的Designer区域，单击操作列下的查看授权信息，获取arn。	"acs:ram::XXXXX:role/AliyunODPSPAIDefaultRole"
   buckets	用于指定算法将要读取的OSS bucket。	"oss://examplebucket/xxx/"
   cluster	分布式运行任务信息，详情请参见PAI-TF任务参数介绍中的cluster参数介绍。	"{\"ps\":{\"count\":2,\"cpu\":1000,\"memory\":40000},\"worker\":{\"count\":8,\"cpu\":1000,\"memory\":40000}}"
   cmd	需要配置为固定值train。	"train"
   config	模型Config文件的OSS路径，您可以参考此处的MultiTower模型Config文件（下载Config示例）。	"oss://examplebucket/xxx/multitower.config"
   ossHost	OSS Endpoint，地域和Endpoint对照表请参见公共云下OSS Region和Endpoint对照表。	oss-cn-region_name-internal.aliyuncs.com
   train_tables	训练表，多个训练表之间使用半角逗号（,）分隔。	"odps://pai_online_project/tables/easyrec_demo_taobao_train_data"
   eval_tables	评估表，多个评估表之间使用半角逗号（,）分隔。	"odps://pai_online_project/tables/easyrec_demo_taobao_test_data"
   model_dir	模型目录，将会覆盖config配置的模型路径，一般在周期性调度时使用。	"oss://examplebucket/xxx/"
   with_evaluator	是否在训练时使用一个Worker进行评估。通常设置8个Worker，其中七个Worker进行训练，一个Worker进行评估（计算测试集的AUC）。取值范围如下： 0：训练时不使用Worker进行评估。 1：训练时使用一个Worker进行评估。	1

   训练完成后，系统会自动将模型导出至model_dir配置路径下的/export/final/目录。

3. 部署模型（该步骤中的命令均在已创建的DataWorks的Shell节点中执行）。

   1. 执行如下命令编写描述服务相关信息（模型存储位置及资源规格等）的JSON文件，该文件的详细参数请参见创建服务，如下仅给出编写JSON文件的示例命令，需要您根据实际情况修改参数值。

      ymd=$1 #获取例行化配置中设置的日期参数。
      cat << EOF > echo.json
      {
        "cloud": {
        	"computing": {
          	"instance_type": "ecs.c7.large"
            }
          },
       	"metadata": {
        	"instance": 1,
         	"name": "model_name" 
       },
       "model_path": "your_model_path",
       "processor": "tensorflow_cpu_1.12", 
      }
      EOF

      其中：model_path需要配置为上述步骤已生成的模型路径；name配置为模型服务名称，同地域内唯一。

   2. 部署模型。

      您可以根据实际部署情况，选择创建服务或更新服务：

      • 如果首次部署服务，则可以使用如下命令，创建新服务。

        /home/admin/usertools/tools/eascmd -i <yourAccessId> -k <yourAccessKey> -e <OSS Endpoint> create <echo.json>

        参数	描述	示例
        <yourAccessId>	阿里云账号的AccessKey ID。	无
        <yourAccessKey>	阿里云账号的AccessKey Secret。	无
        <OSS Endpoint>	将模型部署至某地域，此参数为该地域对应的Endpoint，取值详情请参见命令使用说明中地域与Endpoint的对应关系表。	pai-eas.cn-shanghai.aliyuncs.com
        <echo.json>	上一步中编写的描述服务相关信息（模型存储位置及资源规格等）的JSON文件名称。	echo.json

      • 如果存在已经部署的服务，则可以使用如下命令，更新服务。

        /home/admin/usertools/tools/eascmd -i <yourAccessId> -k <yourAccessKey> -e <Endpoint> modify <cn-beijing/model_name> -s echo.json

        参数	描述	示例
        <yourAccessId>	阿里云账号的AccessKey ID。	无
        <yourAccessKey>	阿里云账号的AccessKey Secret。	无
        <Endpoint>	将模型部署至某地域，此参数为该地域对应的Endpoint，取值详情请参见命令使用说明中地域与Endpoint的对应关系表。	pai-eas.cn-shanghai.aliyuncs.com
        <cn-beijing/model_name>	模型地址与OSS数据所在地域一致。该模型名称指描述服务相关信息JSON文件中，name参数的取值。	cn-beijing/model_name
        <echo.json>	描述服务相关信息的JSON文件名称。	echo.json

步骤三：配置任务例行化

1. 打开节点页面。

   您可以通过以下任意一种方式打开EasyRec_train节点：

   • 双击EasyRec_train节点。

   • 右键单击EasyRec_train，在快捷菜单中，单击打开节点。

2. 在节点页面，单击页面右侧的调度配置。

3. 在调度配置页面的调度参数区域，配置时间参数，以区分不同天的任务。

4. 在调度配置页面的调度依赖区域，配置上下游节点，详情请参见配置同周期调度依赖。

   说明

   如果节点无上游依赖，则使用工作空间根节点。

5. 单击Shell节点页面上方的图标，保存配置。

6. 在业务流程页面，单击上方的图标，运行Shell节点。

Debug

运行EasyRec命令时，DataWorks会打印Logview。您可以通过Logview快速查看模型训练效果或定位错误。

1. 在浏览器中打开Logview（即下图红框中的链接）。

2. 在日志页面的Job Details页签，双击ODPS Tasks实例。

3. 在日志页面的ODPS Tasks区域，单击ODPS Tasks实例。

4. 在Worker运行页面，可以根据需要选择查看对应的实例。

   其中：

   • worker 0为训练worker（worker 0、worker 2~worker 7均为训练worker），单击StdEarr列下的图标，即可查看训练进程。每log_step_count_steps步，打印一次日志。

   • worker1为评估worker，单击stderr列下的图标，即可查看模型在评估集上的指标。