同步数据

配置用户日志同步至OSS

通过离线数据集成任务，实现从平台的HttpFile数据源内的获取用户日志信息，同步至私有OSS数据源中。

同步HttpFile数据源的日志信息至自建的OSS。

1. 在数据开发页面，双击ods_raw_log_d_2oss_spark节点，进入节点配置页面。

2. 配置同步网络链接。

   完成以下网络与资源配置后，单击下一步，并根据界面提示完成连通性测试。

   参数	描述
   数据来源	数据来源：HttpFile 数据源名称：user_behavior_analysis_httpfile
   我的资源组	选择已购买的Serverless资源组。
   数据去向	数据去向：OSS 数据源名称：选择前文创建的私有OSS数据源，此处示例为test_g。

3. 配置同步任务。

   参数	描述
   数据来源	文本类型：选择text类型。 文件路径：/user_log.txt。 列分隔符：输入列分隔符为|。 压缩格式：包括None、Gzip、Bzip2和Zip四种类型，此处选择None。 是否跳过表头：选择No。
   数据去向	文本类型：选择text类型。 文件名（含路径）：根据您自建OSS的目录进行输入，示例为ods_raw_log_d/log_${bizdate}/log_${bizdate}.txt，其中ods_raw_log_d为您自建的目录名，$bizdate表示获取前一天的日期。 列分隔符：输入列分隔符为|。

4. 调度设置。

   配置页面单击右侧调度配置，可进入调度配置面板配置调度与节点信息。以下为配置的内容。

   说明

   DataWorks提供调度参数，可实现在调度场景下，将每日数据写入不同的OSS路径及文件下，并以业务日期对路径目录与文件进行命名。

   在实际场景下，您可以在数据去向的文件名（含目录）配置中通过${变量名}格式自定义路径中的变量，并通过在调度配置页面为变量赋值调度参数的方式，实现调度场景下动态生成数据去向目录与文件名。

   配置项	配置内容	图示
   调度参数	在调度参数项中单击新增参数，添加： 参数名：bizdate 参数值：$[yyyymmdd-1] 详情可参见：配置调度参数。
   调度依赖	在调度依赖确认产出表已作为本节点输出。 格式为workspacename.节点名。 详情可参见：配置调度依赖。

5. 配置完成后，单击工具栏中的图标，进行保存。

配置用户数据同步至OSS

通过离线数据集成任务，实现从平台的MySQL数据源内的获取用户数据信息，同步至私有OSS数据源中。

配置ods_raw_log_d_spark节点

基于通过EMR Spark SQL创建的外部表ods_raw_log_d_spark，用LOCATION来访问离线数据集成任务写入私有OSS对象存储Bucket的日志信息。

1. 代码配置。

   -- 场景：以下SQL为Spark SQL，通过EMR Spark SQL创建的外部表ods_raw_log_d_spark，用LOCATION来获取离线数据集成任务写入私有OSS对象存储Bucket的日志信息，并添加对应的dt分区。
   -- 补充：
   --      DataWorks提供调度参数，可实现调度场景下，将每日增量数据写入目标表对应的业务分区内。
   --      在实际开发场景下，您可通过${变量名}格式定义代码变量，并在调度配置页面通过变量赋值调度参数的方式，实现调度场景下代码动态入参。 
   CREATE EXTERNAL TABLE IF NOT EXISTS ods_raw_log_d_spark
   (
     `col` STRING
   ) 
   PARTITIONED BY (
     dt STRING
   )
   LOCATION 'oss://dw-emr-demo/ods_raw_log_d/log_${bizdate}/';
   
   ALTER TABLE ods_raw_log_d_spark ADD IF NOT EXISTS PARTITION (dt = '${bizdate}') 
   LOCATION 'oss://dw-emr-demo/ods_raw_log_d/log_${bizdate}/'
   ;

   说明

   上述代码中的location为示例路径，与之前配置离线同步任务时的数据去向相同，需要输入您建立的文件路径名称，其中dw-emr-demo是您准备环境时创建的OSS Bucket的名称。

2. 配置调度配置。

   为ods_raw_log_d_spark节点配置任务调度，通过配置的调度参数来获取对应业务日期的私有OSS日志文件，并写入同样业务日期分区的Spark表内。

   配置项	配置内容	图示
   调度参数	在调度参数项中单击新增参数，添加： 参数名：bizdate 参数值：$[yyyymmdd-1]，详情可参见：配置调度参数。
   调度依赖	在调度依赖确认产出表已作为本节点输出。 格式为workspacename.节点名。 详情可参见：配置调度依赖。

   说明

   本章节在SQL中配置了调度参数${bizdate}，并将其赋值为T-1。在离线计算场景下bizdate为业务交易发生的日期，也常被称为业务日期。例如，今天统计前一天的营业额，此处的前一天指的是交易发生的日期，也就是业务日期。

3. 完成配置后，单击保存节点。

配置ods_user_info_d_spark节点

基于通过EMR Spark SQL节点创建的外部表ods_user_info_d_spark，用LOCATION来访问离线数据集成任务写入私有OSS对象存储Bucket的用户信息。

1. 代码配置。

   -- 场景：以下SQL为Spark SQL，通过EMR Spark SQL节点创建的外部表ods_user_info_d_spark，用LOCATION来获取离线数据集成任务写入私有OSS对象存储Bucket的用户信息，并写入对应的dt分区。
   -- 补充：
   --      DataWorks提供调度参数，可实现调度场景下，将每日增量数据写入目标表对应的业务分区内。
   --      在实际开发场景下，您可通过${变量名}格式定义代码变量，并在调度配置页面通过变量赋值调度参数的方式，实现调度场景下代码动态入参。
   CREATE EXTERNAL TABLE IF NOT EXISTS ods_user_info_d_spark
   (
       `uid`        STRING COMMENT '用户ID'
       ,`gender`    STRING COMMENT '性别'
       ,`age_range` STRING COMMENT '年龄段'
       ,`zodiac`    STRING COMMENT '星座'
   )
   PARTITIONED BY 
   (
       dt           STRING
   )
   ROW FORMAT DELIMITED 
   FIELDS
   TERMINATED
   BY'|'
   STORED AS TEXTFILE
   LOCATION 'oss://dw-emr-demo/ods_user_info_d/user_${bizdate}/'
   ;
   
   ALTER TABLE ods_user_info_d_spark ADD IF NOT EXISTS PARTITION (dt = '${bizdate}') 
   LOCATION'oss://dw-emr-demo/ods_user_info_d/user_${bizdate}/'
   ;

   说明

   上述代码中的location为示例路径，与之前配置离线同步任务时的数据去向相同，需要输入您建立的文件路径名称，其中dw-emr-demo是您准备环境时创建的OSS Bucket的名称。

2. 配置调度配置。

   为ods_user_info_d_spark节点配置任务调度，通过配置的调度参数来获取对应业务日期的私有OSS用户信息文件，并写入同样业务日期分区的Spark表内。

   配置项	配置内容	图示
   调度参数	在调度参数项中单击新增参数，添加： 参数名：bizdate 参数值：$[yyyymmdd-1]，详情可参见：配置调度参数。
   调度依赖	在调度依赖确认产出表已作为本节点输出。 格式为worksspacename.节点名 详情可参见：配置调度依赖。

3. 完成配置后，单击保存节点。