首页 >Dataphin集成任务目标表分区通过自定义的方式指定

Dataphin集成任务目标表分区通过自定义的方式指定

概述

本案例描述,通过使用集成任务调度配置,结合默认业务日期bizdate,实现目标表分区自定义指定。

问题描述

您如何自定义数据集成任务,自定义指定目标表分区。

解决方案

本案例描述,如何将集成任务的目标表分区,设定为任务运行日期的第二天(例如当天是20210701,需要插入目标表的分区为20210702)。

1.在管道任务中点开调度配置,找到参数配置,如下图,图中新定义了参数time=$[yyyymmdd+1] ,表示当天日期的后一天,即明天:

2.您可以参考调度配置页面中的“节点参数配置说明”,默认参数值:${yyyyMMdd}为业务日期,即当前日期的前一天T-1$[yyyyMMdd]为执行日期,即当前日期T。除了支持自定义日期参数外,Dataphin最多支持到分钟级别的时间参数设置,暂不支持秒级。

3.将调度配置页面保存,打开输出组件的属性配置,在分区配置栏填入ds=${time},即实现了对分区值的自定义。发布到生产环境的任务,将会用实际日期替换参数,运行您的数据集成实例。

更多信息

节点参数配置说明

适用于

  • 产品名称:Dataphin
  • 产品模块:数据集成
阿里云首页 相关技术圈