同步数据

您可根据以下操作将MySQL数据源中的用户信息同步到您所创建的OSS中。

1. 打开离线同步节点。

   鼠标悬浮于离线同步节点ods_user_info_d_2oss_emr上，单击上方出现的打开节点，进入离线同步节点网络与资源配置页面。

2. 网络与资源配置。

   参考以下参数信息，完成网络与资源配置。等待完成连通性测试后，单击下一步，进入配置任务界面。

   参数	描述
   数据来源	数据来源：MySQL。 数据源名称：user_behavior_analysis_mysql。
   我的资源组	请在我的资源组下方选择已购买的Serverless资源组。
   数据去向	数据去向：OSS。 数据源名称：选择前文创建的OSS数据源，此处示例为test_g。

3. 配置数据来源与去向。

   1. 以下为本教程所需配置的关键参数，未说明参数保持默认即可。

      参数	描述
      数据来源	表：选择数据源中的ods_user_info_d。 切分键：建议使用主键或有索引的列作为切分键，仅支持类型为整型的字段。此处设置切分键为uid。
      数据去向	文本类型：选择text类型。 文件名（含路径）：根据您OSS的目录进行输入，示例为ods_user_info_d/user_${bizdate}/user_${bizdate}.txt。其中ods_user_info_d为您OSS的目录名，$bizdate表示获取前一天的日期。 列分隔符：输入列分隔符为|。

   2. 确认字段映射及通道控制。

      DataWorks通过配置源端与目标端字段映射关系，实现源端指定字段数据写入目标端指定字段，同时支持设置任务并发数、脏数据策略等。本教程脏数据策略配置为不容忍脏数据，其他配置保持默认。更多信息，请参见通过向导模式配置离线同步任务。

4. 配置调试参数。

   配置页面单击右侧调试配置，配置以下参数，用于在步骤四调试运行中使用调试配置的相关参数测试运行。

   配置项	配置内容
   资源组	选择准备环境阶段购买的Serverless资源组。
   脚本参数	无需配置。本教程提供的示例代码中统一使用${bizdate}表示业务日期，在步骤四调试运行工作流时，设置本次运行值为具体常量（例如20250223），任务运行将会使用此常量替换任务中定义的变量。

5. 保存离线同步任务。

   配置完成后，单击工具栏中的图标保存任务节点。

您可根据以下操作将HttpFile数据源中的日志信息同步到您所创建的OSS中。

1. 打开离线同步节点。

   鼠标悬浮于离线同步节点ods_raw_log_d_2oss_emr上，单击上方出现的打开节点，进入离线同步节点网络与资源配置页面。

2. 网络与资源配置。

   参考以下参数信息，完成网络与资源配置。等待完成连通性测试后，单击下一步，进入配置任务界面。

   参数	描述
   数据来源	数据来源：HttpFile。 数据源名称：user_behavior_analysis_httpfile。
   我的资源组	请在我的资源组下方选择已购买的Serverless资源组。
   数据去向	数据去向：OSS。 数据源名称：选择前文创建的OSS数据源，此处示例为test_g。

3. 配置数据来源与去向。

   1. 以下为本教程所需配置的关键参数，未说明参数保持默认即可。

      参数	描述
      数据来源	文件路径：/user_log.txt。 文本类型：选择text类型。 列分隔符：输入列分隔符为|。 压缩格式：包括None、Gzip、Bzip2和Zip四种类型，此处选择None。 是否跳过表头：选择No。
      数据去向	文本类型：选择text类型。 文件名（含路径）：根据您OSS的目录进行输入，示例为ods_raw_log_d/log_${bizdate}/log_${bizdate}.txt，其中ods_raw_log_d为您OSS的目录名，$bizdate表示获取前一天的日期。 列分隔符：输入列分隔符为|。

   2. 配置调试参数。

      配置页面单击右侧调试配置，配置以下参数，用于在步骤四调试运行中使用调试配置的相关参数测试运行。

      配置项	配置内容
      资源组	选择准备环境阶段购买的Serverless资源组。
      脚本参数	无需配置。本教程提供的示例代码中统一使用${bizdate}表示业务日期，在步骤四调试运行工作流时，设置本次运行值为具体常量（例如20250223），任务运行将会使用此常量替换任务中定义的变量。

4. 保存离线同步任务。

   配置完成后，单击工具栏中的图标保存任务节点。

1. 开发代码。

   鼠标悬浮于EMR Hive节点ods_user_info_d_emr上，单击上方出现的打开节点，进入EMR Hive节点编辑页面。输入以下示例SQL语句。

   CREATE EXTERNAL TABLE IF NOT EXISTS ods_user_info_d_emr
   (
       `uid` STRING COMMENT '用户ID',
       `gender` STRING COMMENT '性别',
       `age_range` STRING COMMENT '年龄段',
       `zodiac` STRING COMMENT '星座'
   ) PARTITIONED BY (
     dt STRING
   )
   ROW FORMAT  delimited fields terminated by '|'
   LOCATION 'oss://dw-emr-demo/ods_user_info_d/';
   
   ALTER TABLE ods_user_info_d_emr ADD IF NOT EXISTS PARTITION (dt='${bizdate}')
   LOCATION 'oss://dw-emr-demo/ods_user_info_d/user_${bizdate}/';

   说明

   上述代码中的LOCATION为示例路径，与之前配置离线同步任务时的数据去向相同，需要输入您建立的文件路径名称，其中dw-emr-demo是您准备环境时创建的OSS Bucket域名。

2. 配置调试参数。

   配置页面单击右侧调试配置，配置以下参数，用于在调试运行中使用调试配置的相关参数测试运行。

   配置项	配置内容
   资源组	选择准备环境阶段购买的Serverless资源组。
   脚本参数	无需配置。本教程提供的示例代码中统一使用${bizdate}表示业务日期，在调试运行任务时，设置本次运行值为具体常量（例如20250223），任务运行将会使用此常量替换任务中定义的变量。

3. 保存并运行节点任务。

   配置完成后，您可单击保存和运行节点。

   • 节点处于状态，即代表同步执行过程无问题。

   • 节点处于状态，如出现java.net.ConnectException: Connection timed out (Connection timed out)报错，您需在ECS管理控制台添加安全组规则，开放ECS的10000端口，设置授权对象为资源组VPC的交换机网段。您可以在资源组列表单击对应资源组的网络设置获取交换机网段。关于如何添加安全组规则请参见添加安全组规则。

4. 查询数据同步结果。

   1. 进入DataWorks工作空间列表页，在顶部切换至目标地域，找到已创建的工作空间，单击操作列的快速进入 > Data Studio，进入Data Studio。

   2. 在Data Studio一级功能入口单击，进入数据开发，在二级功能入口找到项目目录区域。

   3. 右键单击您所创建的work目录，选择新建节点... > EMR > EMR Hive，自定义EMR Hive节点名，单击回车完成节点的创建。

      进入EMR Hive节点编辑页面，将下面脚本中的业务日期替换为当前业务日期，确认同步数据写入结果。查看导入ods_raw_log_d_emr和ods_user_info_d_emr的记录数。

      说明

      查询语句中的分区列需要更新为业务日期。例如，任务运行的日期为20250223，则业务日期为20250222，即任务运行日期的前一天。

      SELECT * FROM ods_user_info_d_emr WHERE dt=业务日期; 

      • 上述命令查询存在数据，即表示数据加工已完成。

      • 如果没有数据，请确保运行工作流时，配置的本次运行值与此处查询时dt指定的业务日期一致，您可以单击工作流，单击右侧的运行历史，在运行记录右侧操作列单击查看，然后在工作流的运行日志中确认运行工作流时业务日期的取值（partition=[pt=xxx]）。

1. 开发代码。

   鼠标悬浮于EMR Hive节点ods_raw_log_d_emr上，单击上方出现的打开节点，进入EMR Hive节点编辑页面。输入以下示例SQL语句。

   --创建OSS日志对应目标表
   CREATE EXTERNAL TABLE IF NOT EXISTS ods_raw_log_d_emr
   (
     `col` STRING
   ) PARTITIONED BY (
     dt STRING
   );
   ALTER TABLE ods_raw_log_d_emr ADD IF NOT EXISTS PARTITION (dt='${bizdate}')
   LOCATION 'oss://dw-emr-demo/ods_raw_log_d/log_${bizdate}/';

   说明

   上述代码中的LOCATION为示例路径，与之前配置离线同步任务时的数据去向相同，需要输入您建立的文件路径名称，其中dw-emr-demo是您准备环境时创建的OSS Bucket域名。

2. 配置调试参数。

   配置页面单击右侧调试配置，配置以下参数，用于在调试运行中使用调试配置的相关参数测试运行。

   配置项	配置内容
   资源组	选择准备环境阶段购买的Serverless资源组。
   脚本参数	无需配置。本教程提供的示例代码中统一使用${bizdate}表示业务日期，在调试运行任务时，设置本次运行值为具体常量（例如20250223），任务运行将会使用此常量替换任务中定义的变量。

3. 保存运行节点任务。

   配置完成后，您可单击保存和运行节点。

4. 查询数据同步结果。

   1. 进入DataWorks工作空间列表页，在顶部切换至目标地域，找到已创建的工作空间，单击操作列的快速进入 > Data Studio，进入Data Studio。

   2. 在Data Studio一级功能入口单击，进入数据开发，在二级功能入口找到项目目录区域。

   3. 右键单击您所创建的work目录，选择新建节点... > EMR > EMR Hive，自定义EMR Hive节点名，单击回车完成节点的创建。

      进入EMR Hive节点编辑页面，将下面脚本中的业务日期替换为当前业务日期，确认同步数据写入结果。查看导入ods_raw_log_d_emr和ods_user_info_d_emr的记录数。

      说明

      查询语句中的分区列需要更新为业务日期。例如，任务运行的日期为20250223，则业务日期为20250222，即任务运行日期的前一天。

      SELECT * FROM ods_raw_log_d_emr WHERE dt=业务日期; 

      • 上述命令查询存在数据，即表示数据加工已完成。

      • 如果没有数据，请确保运行工作流时，配置的本次运行值与此处查询时dt指定的业务日期一致，您可以单击工作流，单击右侧的运行历史，在运行记录右侧操作列单击查看，然后在工作流的运行日志中确认运行工作流时业务日期的取值（partition=[pt=xxx]）。