同步数据

新建MySQL数据源（user_behavior_analysis_mysql）

本教程提供的用户基本信息存储在MySQL数据库中，您需要创建MySQL数据源，以便在后续将MySQL数据库中的用户基本信息数据（ods_user_info_d）同步至MaxCompute。

1. 进入数据源页面。

   1. 登录DataWorks控制台，切换至目标地域后，单击左侧导航栏的更多 > 管理中心，在下拉框中选择对应工作空间后单击进入管理中心。

   2. 单击左侧导航栏的数据源，进入数据源页面。

2. 单击新增数据源，搜索选择数据源类型为MySQL。

3. 在创建MySQL数据源页面，配置相关参数。在本教程中开发环境和生产环境都按如下示例值填写。

   以下为本教程所需配置的关键参数，未说明参数保持默认即可。

   参数	描述
   数据源名称	输入数据源名称，本教程请填写user_behavior_analysis_mysql。
   数据源描述	DataWorks案例体验专用数据源，在离线同步配置时读取该数据源即可访问平台提供的测试数据，该数据源只支持数据集成场景读取，其他模块不支持使用。
   配置模式	选择连接串模式。
   连接地址	主机地址IP：rm-bp1z69dodhh85z9qa.mysql.rds.aliyuncs.com 端口号：3306
   数据库名称	输入数据库名，本教程请填写workshop。
   用户名	输入用户名，本教程请填写workshop。
   密码	输入密码，本教程请填写workshop#2017。
   认证选项	无认证。

4. 在连通配置区域，分别单击生产环境和开发环境的测试连通性，确保连通状态为可连通。

   重要

   • 需确保资源组已绑定至工作空间，并配置了公网访问能力，否则后续数据同步时将会报错。配置步骤请参见准备环境。

   • 如果您无可选的资源组，可参考链接配置区域的说明提示，单击前往购买和绑定已购资源组。

5. 单击完成创建。

新建HttpFile数据源（user_behavior_analysis_httpfile）

本教程提供的用户网站访问记录数据存储在OSS中，您需要创建Httpfile数据源，以便在后续将OSS中的用户网站访问记录（user_log.txt）同步至MaxCompute。

1. 在管理中心页面，单击左侧导航栏的数据源。

2. 单击新增数据源，在新增数据源对话框中，搜索选择数据源类型为HttpFile。

3. 在创建HttpFile数据源页面，配置相关参数。在本教程中开发环境和生产环境都按如下示例值填写。

   以下为本教程所需配置的关键参数，未说明参数保持默认即可。

   参数	描述
   数据源名称	输入数据源名称，本教程请填写user_behavior_analysis_httpfile。
   数据源描述	DataWorks案例体验专用数据源，在离线同步配置时读取该数据源即可访问平台提供的测试数据，该数据源只支持数据集成场景读取，其他模块不支持使用。
   URL域名	开发环境和生产环境的URL域名均配置为https://dataworks-workshop-2024.oss-cn-shanghai.aliyuncs.com。

4. 在连通配置区域，分别单击生产环境和开发环境的测试连通性，确保连通状态为可连通。

   重要

   • 需确保资源组已绑定至工作空间，并配置了公网访问能力，否则后续数据同步时将会报错。配置步骤请参见准备环境。

   • 如果您无可选的资源组，可参考链接配置区域的说明提示，单击前往购买和绑定已购资源组。

5. 单击完成创建。

配置初始节点

1. 在工作流编辑页面中，鼠标悬停至workshop_start_odps节点上，单击打开节点。

2. 在workshop_start_odps节点编辑页面右侧单击调度配置，配置相关参数。以下为本教程所需配置的关键参数，未说明参数保持默认即可。

   调度配置参数	说明
   调度类型	本教程配置为空跑调度。
   调度资源组	本教程配置为准备环境阶段创建的Serverless资源组。
   节点依赖配置	由于workshop_start_odps为初始节点，无上游依赖，此时可以单击使用工作空间根节点，由工作空间根节点触发工作流执行。 工作空间根节点命名为：工作空间名_root。

配置用户数据同步链路（ods_user_info_d_odps）

1. 在工作流编辑页面中，鼠标悬停至ods_user_info_d_odps节点上，单击打开节点。

2. 配置同步链路网络与资源。

   参数	描述
   数据来源	数据来源：MySQL。 数据源名称：user_behavior_analysis_mysql。
   我的资源组	选择准备环境阶段购买的Serverless资源组。
   数据去向	数据去向：MaxCompute(ODPS)。 数据源名称：选择准备环境阶段绑定的MaxCompute计算资源，此处示例为MaxCompute_Source。

3. 单击下一步，配置同步任务。

   1. 配置数据来源与去向

      以下为本教程所需配置的关键参数，未说明参数保持默认即可。

      模块	配置项	配置说明
      数据来源	表	选择ods_user_info_d。
      	切分键	此处配置切分键为uid字段。uid字段是MySQL的ods_user_info_d表中的主键。
      数据去向	Tunnel资源组	本教程默认为公共传输资源，若您拥有独享Tunnel Quota，可下拉选择。独享Tunnel Quota的更多信息，请参见购买与使用独享数据传输服务资源组。
      	表	单击一键生成目标表结构快速创建MaxCompute表。将如下建表语句粘贴至建表语句区域，单击新建表。该表用于接收数据来源端的用户数据。 CREATE TABLE IF NOT EXISTS ods_user_info_d_odps ( uid STRING COMMENT '用户ID', gender STRING COMMENT '性别', age_range STRING COMMENT '年龄段', zodiac STRING COMMENT '星座' ) PARTITIONED BY ( dt STRING ) LIFECYCLE 7;
      	分区信息	本教程填入${bizdate}，用于在后续测试阶段为bizdate参数赋值常量，在调度执行时为bizdate参数动态赋值。Data Studio支持的变量格式及配置方法，请参见调度参数。

   2. 确认字段映射及通道控制。

      DataWorks通过配置源端与目标端字段映射关系，实现源端指定字段数据写入目标端指定字段，同时支持设置任务并发数、脏数据策略等。本教程脏数据策略配置为不容忍脏数据，其他配置保持默认。更多信息，请参见通过向导模式配置离线同步任务。

4. 配置调试参数。

   在离线同步任务配置页面右侧单击调试配置，配置以下参数，用于在步骤四调试运行中使用调试配置的相关参数测试运行。

   配置项	配置说明
   资源组	选择准备环境阶段购买的Serverless资源组。
   脚本参数	无需配置。本教程提供的示例代码中统一使用${bizdate}表示业务日期，在步骤四调试运行工作流时，设置本次运行值为具体常量（例如20250223），任务运行将会使用此常量替换任务中定义的变量。

5. （可选）配置调度属性。

   本教程调度配置相关参数保持默认即可，您可以在离线同步任务配置页面右侧单击调度配置。调度配置中参数的详细说明，详情可参见调度配置。

   • 调度参数：本教程已在工作流调度参数中统一配置，工作流内部节点无需配置，在任务或代码中可直接使用。

   • 调度策略：您可以在延时执行时间参数中指定子节点在工作流执行后，延迟多久再执行，本教程不设置。

6. 在节点工具栏单击保存。

配置用户日志同步链路（ods_raw_log_d_odps）

1. 在工作流编辑页面中，鼠标悬停至ods_raw_log_d_odps节点上，单击打开节点。

2. 配置同步链路网络与资源。

   参数	描述
   数据来源	数据来源：HttpFile。 数据源名称：user_behavior_analysis_HttpFile。
   我的资源组	选择准备环境阶段购买的Serverless资源组。
   数据去向	数据去向：MaxCompute(ODPS)。 数据源名称：选择准备环境阶段绑定的MaxCompute计算资源，此处示例为MaxCompute_Source。

3. 单击下一步，配置同步任务。

   • 配置数据来源与去向

     以下为本教程所需配置的关键参数，未说明参数保持默认即可。

     模块	配置项	配置说明
     数据来源	文件路径	本教程填入/user_log.txt。
     	文件类型	本教程选择text类型。
     	列分隔符	本教程填入|。
     	高级配置 > 是否跳过表头	本教程选择No，不跳过表头。
     重要 配置数据来源完成后，需单击确认表数据结构，查看是否能正常读取到日志文件。
     数据去向	Tunnel资源组	本教程默认为公共传输资源，若您拥有独享Tunnel Quota，可下拉选择。独享Tunnel Quota的更多信息，请参见购买与使用独享数据传输服务资源组。
     	表	单击一键生成目标表结构快速创建MaxCompute表。将如下建表语句粘贴至建表语句区域，单击新建表。该表用于接收数据来源端的用户日志。 CREATE TABLE IF NOT EXISTS ods_raw_log_d_odps ( col STRING ) PARTITIONED BY ( dt STRING ) LIFECYCLE 7;
     	分区信息	本教程填入${bizdate}，用于在后续测试阶段为bizdate参数赋值常量，在调度执行时为bizdate参数动态赋值。Data Studio支持的变量格式及配置方法，请参见调度参数。

   • 确认字段映射及通道控制。

     DataWorks通过配置源端与目标端字段映射关系，实现源端指定字段数据写入目标端指定字段，同时支持设置任务并发数、脏数据策略等。本教程脏数据策略配置为不容忍脏数据，其他配置保持默认。更多信息，请参见通过向导模式配置离线同步任务。

4. 配置调试参数。

   在离线同步任务配置页面右侧单击调试配置，配置以下参数，用于在步骤四调试运行中使用调试配置的相关参数测试运行。

   配置项	配置说明
   资源组	选择准备环境阶段购买的Serverless资源组。
   脚本参数	无需配置。本教程提供的示例代码中统一使用${bizdate}表示业务日期，在步骤四调试运行工作流时，设置本次运行值为具体常量（例如20250223），任务运行将会使用此常量替换任务中定义的变量。

5. （可选）配置调度属性。

   本教程调度配置相关参数保持默认即可，您可以在离线同步任务配置页面右侧单击调度配置。调度配置中参数的详细说明，详情可参见调度配置。

   • 调度参数：本教程已在工作流调度参数中统一配置，工作流内部节点无需配置，在任务或代码中可直接使用。

   • 调度策略：您可以在延时执行时间参数中指定子节点在工作流执行后，延迟多久再执行，本教程不设置。

6. 在节点工具栏单击保存。