同步数据

新建MySQL数据源（user_behavior_analysis_mysql）

本教程提供的用户基本信息存储在MySQL数据库中，您需要创建MySQL数据源，以便在后续将MySQL数据库中的用户基本信息数据（ods_user_info_d）同步至StarRocks

1. 进入数据源页面。

   1. 登录DataWorks控制台，切换至目标地域后，单击左侧导航栏的更多 > 管理中心，在下拉框中选择对应工作空间后单击进入管理中心。

   2. 单击左侧导航栏的数据源，进入数据源页面。

2. 单击新增数据源，搜索选择数据源类型为MySQL。

3. 在创建MySQL数据源页面，配置相关参数。在本教程中开发环境和生产环境都按如下示例值填写。

   以下为本教程所需配置的关键参数，未说明参数保持默认即可。

   参数	描述

   参数	描述
   数据源名称	输入数据源名称，本教程请填写user_behavior_analysis_mysql。
   数据源描述	DataWorks案例体验专用数据源，在离线同步配置时读取该数据源即可访问平台提供的测试数据，该数据源只支持数据集成场景读取，其他模块不支持使用。
   配置模式	选择连接串模式。
   连接地址	主机地址IP：rm-bp1z69dodhh85z9qa.mysql.rds.aliyuncs.com 端口号：3306
   数据库名称	输入数据库名，本教程请填写workshop。
   用户名	输入用户名，本教程请填写workshop。
   密码	输入密码，本教程请填写workshop#2017。
   认证选项	无认证。

4. 在连通配置区域，分别单击生产环境和开发环境的测试连通性，确保连通状态为可连通。

   重要

   • 需确保资源组已绑定至工作空间，并配置了公网访问能力，否则后续数据同步时将会报错。配置步骤请参见准备环境。

   • 如果您无可选的资源组，可参考链接配置区域的说明提示，单击前往购买和绑定已购资源组。

5. 单击完成创建。

新建HttpFile数据源（user_behavior_analysis_httpfile）

本教程提供的用户网站访问记录数据存储在OSS中，您需要创建Httpfile数据源，以便在后续将OSS中的用户网站访问记录（user_log.txt）同步至StarRocks。

1. 在管理中心页面，单击左侧导航栏的数据源。

2. 单击新增数据源，在新增数据源对话框中，搜索选择数据源类型为HttpFile。

3. 在创建HttpFile数据源页面，配置相关参数。在本教程中开发环境和生产环境都按如下示例值填写。

   以下为本教程所需配置的关键参数，未说明参数保持默认即可。

   参数	描述

   参数	描述
   数据源名称	输入数据源名称，本教程请填写user_behavior_analysis_httpfile。
   数据源描述	DataWorks案例体验专用数据源，在离线同步配置时读取该数据源即可访问平台提供的测试数据，该数据源只支持数据集成场景读取，其他模块不支持使用。
   URL域名	开发环境和生产环境的URL域名均配置为https://dataworks-workshop-2024.oss-cn-shanghai.aliyuncs.com。

4. 在连通配置区域，分别单击生产环境和开发环境的测试连通性，确保连通状态为可连通。

   重要

   • 需确保资源组已绑定至工作空间，并配置了公网访问能力，否则后续数据同步时将会报错。配置步骤请参见准备环境。

   • 如果您无可选的资源组，可参考链接配置区域的说明提示，单击前往购买和绑定已购资源组。

5. 单击完成创建。

配置初始节点

1. 在工作流画布中，鼠标悬停至workshop_start_starrocks节点上，单击打开节点。

2. 在workshop_start_starrocks节点编辑页面右侧单击调度配置，配置相关参数。以下为本示例所需配置的关键参数，未说明参数保持默认即可。

   调度配置参数	说明

   调度配置参数	说明
   调度类型	本教程配置为空跑调度。
   调度资源组	本教程配置为准备环境阶段创建的Serverless资源组。
   节点依赖配置	由于workshop_start_starrocks为初始节点，无上游依赖，此时可以单击使用工作空间根节点，由工作空间根节点触发工作流执行。 工作空间根节点命名为：工作空间名_root。

创建用户表ddl_ods_user_info_d_starrocks

同步数据至StarRocks前，需创建ddl_ods_user_info_d_starrocks表，以接收从MySQL数据源中同步的用户基本信息数据，可通过以下方式在节点内建表，也可以通过数据目录手动创建以下数据表。

1. 在工作流画布中，鼠标悬停至ddl_ods_user_info_d_starrocks节点上，单击打开节点。

2. 编辑建表语句。

   CREATE TABLE IF NOT EXISTS ods_user_info_d_starrocks (
       uid STRING COMMENT '用户ID',
       gender STRING COMMENT '性别',
       age_range STRING COMMENT '年龄段',
       zodiac STRING COMMENT '星座',
       dt STRING not null COMMENT '时间'
   ) 
   DUPLICATE KEY(uid)
   COMMENT '用户行为分析案例-用户基本信息表'
   PARTITION BY(dt) 
   PROPERTIES("replication_num" = "1");

3. 配置调试参数。

   在StarRocks节点配置页面右侧单击调试配置，配置以下参数，用于在步骤四调试运行中使用调试配置的相关参数测试运行。

   配置项	配置说明

   配置项	配置说明
   计算资源	选择准备环境阶段绑定的StarRocks计算资源。
   资源组	选择准备环境阶段购买的Serverless资源组。

4. （可选）配置调度属性。

   本教程调度配置相关参数保持默认即可，您可以在节点编辑页面右侧单击调度配置。调度配置中参数的详细说明，详情可参见调度配置。

   • 调度参数：本教程已在工作流调度参数中统一配置，工作流内部节点无需配置，在任务或代码中可直接使用。

   • 调度策略：您可以在延时执行时间参数中指定子节点在工作流执行后，延迟多久再执行，本教程不设置。

5. 在顶部工具栏单击保存，保存当前节点。

创建日志表ddl_ods_raw_log_d_starrocks

同步数据至StarRocks前，需创建ddl_ods_raw_log_d_starrocks表，以接收从Httpfile数据源中同步的用户网站访问记录数据，可通过以下方式在节点内建表，也可以通过数据目录手动创建以下数据表。

1. 在工作流画布中，鼠标悬停至ddl_ods_raw_log_d_starrocks节点上，单击打开节点。

2. 编辑建表语句。

   CREATE TABLE IF NOT EXISTS ods_raw_log_d_starrocks (
       col STRING COMMENT '日志',
       dt DATE  not null COMMENT '时间'
   ) DUPLICATE KEY(col) 
   COMMENT '用户行为分析案例-网站访问日志原始数据表' 
   PARTITION BY(dt) 
   PROPERTIES ("replication_num" = "1");

3. 配置调试参数。

   在离线同步任务配置页面右侧单击调试配置，配置以下参数，用于在步骤四调试运行中使用调试配置的相关参数测试运行。

   配置项	配置说明

   配置项	配置说明
   计算资源	选择准备环境阶段绑定的StarRocks计算资源。
   资源组	选择准备环境阶段购买的Serverless资源组。

4. （可选）配置调度属性。

   本教程调度配置相关参数保持默认即可，您可以在节点编辑页面右侧单击调度配置。调度配置中参数的详细说明，详情可参见调度配置。

   • 调度参数：本教程已在工作流调度参数中统一配置，工作流内部节点无需配置，在任务或代码中可直接使用。

   • 调度策略：您可以在延时执行时间参数中指定子节点在工作流执行后，延迟多久再执行，本教程不设置。

5. 在顶部工具栏单击保存，保存当前节点。

配置用户数据同步链路（ods_user_info_d_starrocks）

1. 在工作流画布中，鼠标悬停至ods_user_info_d_starrocks节点上，单击打开节点。

2. 配置同步链路网络与资源。

   参数	描述

   参数	描述
   数据来源	数据来源：MySQL 数据源名称：user_behavior_analysis_mysql
   我的资源组	选择在准备环境阶段新建的Serverless资源组。
   数据去向	数据去向：StarRocks 数据源名称：doc_starrocks_storage_compute_tightly_01

3. 配置任务

   • 配置数据来源与去向。

     模块	配置项	配置内容

     模块	配置项	配置内容
     数据来源	表	选择MySQL表ods_user_info_d。
     	切分键	建议使用主键或有索引的列作为切分键，仅支持类型为整型的字段。 此处配置切分键为uid字段。
     数据去向	表	选择StarRocks表ods_user_info_d_starrocks。
     	导入前准备语句	本案例按dt字段动态分区，为避免节点重跑数据重复写入，通过以下SQL语句实现每次同步前删除已有目标分区。 ALTER TABLE ods_user_info_d_starrocks DROP PARTITION IF EXISTS p${var} FORCE其中${var}为参数，后续在调度配置阶段为其赋值调度参数，以实现调度场景下的动态入参，详情请参见调度设置。
     	StreamLoad请求参数	StreamLoad 的请求参数，需为JSON格式。 { "row_delimiter": "\\x02", "column_separator": "\\x01" }

   • 字段映射。

     通过字段映射关系确定源端字段与目标端字段的写入关系，并通过变量赋值调度参数的方式，实现动态为StarRocks分区字段赋值，即每日数据写入StarRocks对应业务分区。

     1. 单击同名映射，源端MySQL字段将自动映射目标表同名字段，即源端字段数据将默认写入与源端字段同名的目标端字段。

     2. 单击添加一行，输入'${var}'，并手动设置该字段与StarRocks的dt字段进行映射。

   • 通道控制。

     本教程脏数据策略配置为不容忍脏数据，其他配置保持默认。更多信息，请参见通过向导模式配置离线同步任务。

4. 配置调试参数。

   在离线同步任务配置页面右侧单击调试配置，配置以下参数，用于在步骤四调试运行中使用调试配置的相关参数测试运行。

   配置项	配置说明

   配置项	配置说明
   资源组	选择准备环境阶段购买的Serverless资源组。
   脚本参数	单击添加参数，配置为var=yyyymmdd格式的具体常量（例如var=20250223）。在调试时，Data Studio将会使用此常量替换任务中的定义的变量。

5. （可选）配置调度属性。

   本教程调度配置相关参数保持默认即可，您可以在节点编辑页面右侧单击调度配置。调度配置中参数的详细说明，详情可参见调度配置。

   • 调度参数：本教程已在工作流调度参数中统一配置，工作流内部节点无需配置，在任务或代码中可直接使用。

   • 调度策略：您可以在延时执行时间参数中指定子节点在工作流执行后，延迟多久再执行，本教程不设置。

6. 在顶部工具栏单击保存，保存当前节点。

配置日志数据同步链路（ods_raw_log_d_starrocks）

1. 在工作流画布中，鼠标悬停至ods_raw_log_d_starrocks节点上，单击打开节点。

2. 配置同步链路网络与资源。

   在配置好数据来源、我的资源组、数据去向后，单击下一步，根据页面提示完成连通性测试。详细配置如下。

   配置项	配置内容

   配置项	配置内容
   数据来源	数据来源：HttpFile 数据源名称：user_behavior_analysis_HttpFile
   我的资源组	选择在准备环境阶段新建的Serverless资源组。
   数据去向	数据去向：StarRocks 数据源名称：doc_starrocks_storage_compute_tightly_01

3. 单击下一步，配置同步任务。

   • 配置数据来源与去向。

     模块	配置项	配置内容

     模块	配置项	配置内容
     数据来源	文件路径	/user_log.txt
     	文件类型	text
     	列分隔符	|
     	高级设置 > 是否跳过表头	No
     	完成以上数据来源配置后，单击确认表数据结构。
     数据去向	表	选择StarRocks表ods_raw_log_d_starrocks。
     	导入前准备语句	本案例按dt字段动态分区，为避免节点重跑数据重复写入，通过以下SQL语句实现每次同步前删除已有目标分区。 ALTER TABLE ods_user_info_d_starrocks DROP PARTITION IF EXISTS p${var} FORCE其中${var}为参数，后续在调度配置阶段为其赋值调度参数，以实现调度场景下的动态入参，详情请参见调度设置。
     	StreamLoad请求参数	StreamLoad 的请求参数，需为JSON格式。 { "row_delimiter": "\\x02", "column_separator": "\\x01" }

   • 通道控制。

     本教程脏数据策略配置为不容忍脏数据，其他配置保持默认。更多信息，请参见通过向导模式配置离线同步任务。

   • 字段映射。

     单击节点页面工具栏按钮，将任务配置方式从向导模式转换为脚本模式，完成HttpFile数据源的字段映射与StarRocks动态分区字段dt的动态赋值。

     • 来源HttpFile端Column配置新增：

        {
                  "type": "STRING",
                 "value": "${var}"
               }

     • ods_raw_log_d_starrocks节点完整脚本示例：

       {
           "type": "job",
           "version": "2.0",
           "steps": [
               {
                   "stepType": "httpfile",
                   "parameter": {
                       "fileName": "/user_log.txt",
                       "nullFormat": "",
                       "compress": "",
                       "requestMethod": "GET",
                       "connectTimeoutSeconds": 60,
                       "column": [
                           {
                               "index": 0,
                               "type": "STRING"
                           },
                           {
                               "type": "STRING",
                               "value": "${var}"
                           }
                       ],
                       "skipHeader": "false",
                       "encoding": "UTF-8",
                       "fieldDelimiter": "|",
                       "fieldDelimiterOrigin": "|",
                       "socketTimeoutSeconds": 3600,
                       "envType": 0,
                       "datasource": "user_behavior_analysis",
                       "bufferByteSizeInKB": 1024,
                       "fileFormat": "text"
                   },
                   "name": "Reader",
                   "category": "reader"
               },
               {
                   "stepType": "starrocks",
                   "parameter": {
                       "loadProps": {
                           "row_delimiter": "\\x02",
                           "column_separator": "\\x01"
                       },
                       "envType": 0,
                       "datasource": "Doc_StarRocks_Storage_Compute_Tightly_01",
                       "column": [
                           "col",
                           "dt"
                       ],
                       "tableComment": "",
                       "table": "ods_raw_log_d_starrocks",
                       "preSql": "ALTER TABLE ods_raw_log_d_starrocks DROP PARTITION IF EXISTS  p${var} FORCE ; "
                   },
                   "name": "Writer",
                   "category": "writer"
               },
               {
                   "copies": 1,
                   "parameter": {
                       "nodes": [],
                       "edges": [],
                       "groups": [],
                       "version": "2.0"
                   },
                   "name": "Processor",
                   "category": "processor"
               }
           ],
           "setting": {
               "errorLimit": {
                   "record": "0"
               },
               "locale": "zh",
               "speed": {
                   "throttle": false,
                   "concurrent": 2
               }
           },
           "order": {
               "hops": [
                   {
                       "from": "Reader",
                       "to": "Writer"
                   }
               ]
           }
       }

4. 配置调试参数。

   在离线同步任务配置页面右侧单击调试配置，配置以下参数，用于在步骤四调试运行中使用调试配置的相关参数测试运行。

   配置项	配置说明

   配置项	配置说明
   资源组	选择准备环境阶段购买的Serverless资源组。
   脚本参数	单击添加参数，配置为var=yyyymmdd格式的具体常量（例如var=20250223）。在调试时，Data Studio将会使用此常量替换任务中的定义的变量。

5. （可选）配置调度属性。

   本教程调度配置相关参数保持默认即可，您可以在节点编辑页面右侧单击调度配置。调度配置中参数的详细说明，详情可参见调度配置。

   • 调度参数：本教程已在工作流调度参数中统一配置，工作流内部节点无需配置，在任务或代码中可直接使用。

   • 调度策略：您可以在延时执行时间参数中指定子节点在工作流执行后，延迟多久再执行，本教程不设置。

6. 在顶部工具栏单击保存，保存当前节点。