在DMS中实现DLA一键建仓与数据开发

操作步骤

1. 登录新版DMS控制台。
2. 在页面顶部，选择全部功能 > 数据工厂 > 任务编排。
3. 在任务编排页面的自由编排任务区域，单击新建任务流。
   
4. 在新建任务流对话框，自定义填写任务流名称和描述后，单击确认。
   
5. 单击任务流中画布的空白处，在右侧面板中单击任务流变量，配置如下变量。
   配置完变量后，您可以在SQL任务中，用${变量名}表示时间点或时长。关于变量的规则与作用详情，请参见任务。

   新增weekday变量，格式为e，偏移为+1日。

   表示获取当前日期为星期几（周日为第1天，若偏移0，则默认为周一为第1天）。

   
6. 在任务编排页面的左侧任务类型中，选择归档建仓 > DLA一键建仓，并拖拽至页面中的空白区域。
7. 配置DLA一键建仓节点。
   您可以通过该节点，将数据库以文件的形式存入OSS数据湖仓库中，实现一键建仓。
   1. 单击新建的任务节点，在右侧属性面板中单击内容设置页签。
   2. 在内容设置页中配置以下参数，并单击保存。
      

      配置	说明
      数据来源	在已接入DMS的实例中选择需要入DLA数据湖的数据库源，本案例中为RDS MySQL数据库。
      目标库（Schema）名称	填入需要在DLA中创建的Schema名称。
      建仓OSS路径	填入目标OSS数据位置。
      高级选项	通过一键建仓向导创建Schema时，您可以在高级选项中自定义一些设置，例如过滤字段或者表等，更多信息，请参见高级选项功能。 本示例为include-tables=adjust_source。

      说明 关于DLA一键建仓的更多信息，请参见一键建仓。
8. 在任务编排页面的左侧任务类型中，选择归档建仓 > DLA-SQL，并拖拽至页面中的空白区域。
9. 配置DLA-SQL节点。
   您可以通过该节点，对数据湖仓库中的数据进行查询、加工、分析等操作。
   1. 双击页面中的DLA-SQL任务节点，在任务名文本框输入DLA-SQL-day，按回车键保存。
   2. 单击右侧属性面板中的内容设置页签，在该页面中编辑报表生成语句。
      SQL实例如下：

      CREATE EXTERNAL TABLE IF NOT EXISTS `rds_mysql_0723`.`adjust_day` (
        `id` DOUBLE COMMENT '',
        `auditon` TIMESTAMP COMMENT '',
        `returnmemo` STRING  COMMENT '',
        `issystem` DOUBLE COMMENT ''
      )
      STORED AS `PARQUET`
      LOCATION 'oss://xxx/DLA/DLA-Formation-rds_mysql_0723/${weekday}/adjust_day/'
      TBLPROPERTIES (
        'auto.create.location' = 'true',);
      
      INSERT OVERWRITE adjust_day
      SELECT
      id,
      auditon,
      returnmemo,
      issystem
      FROM adjust_source;

      

      说明 完成SQL、变量配置之后，单击SQL预览确认是否满足预期。确认无误后，单击属性面板右下角保存。
10. 返回到DAG图中，拖动鼠标连接2个任务节点。
    
11. 完成DAG图的流程走向编辑后，在右侧属性面板中开启调度，完成配置后单击保存即可。
    说明 任务流调度周期支持每月、每周、每天多维度配置，您可以按需求选择调度周期，本案例为每个工作日的早上5点执行任务。