调度参数配置最佳实践

本文为您介绍配置调度参数的最佳实践,您可参考本文进行参数配置。

背景信息

调度参数配置的相关应用场景及最佳实践如下:

参数介绍

DataWorks支持在代码中定义参数,并在调度配置中对参数进行赋值。赋值时支持赋值常量和调度时间表达式。

定义参数的方法:在代码中可通过 ${参数名} 方式声明参数,在右侧调度配置中可使用常量或调度时间表达式给参数赋值。参数赋值方法

说明

Shell及PyODPS声明参数的方法比较特殊,详情请参见不同类型节点调度参数配置示例

系统调度参数

bizdate是DataWorks上的系统调度参数,当参数赋值为=$bizdate时,默认获取前一天的日期。

参数定义

含义

日期格式

参考样例

variate=$bizdate

获取业务日期。

yyyymmdd

  • 场景:天任务在2022年11月22日的1点执行。

  • 赋值结果:variate=20221121

说明

在离线计算场景下,bizdate为业务交易发生的日期,也常被叫做业务日期(business date)。例如,今天统计前一天的营业额,此处的前一天,指交易发生的日期,也就是业务日期。

自定义调度参数

DataWorks除系统调度参数外,还支持自定义调度参数。自定义调度参数有两种赋值模式,分别为$[]${}

说明
  • 定时时间为用户设置的执行时间,非任务实际运行时间,定时时间的取值不会受任务实际运行时间的延迟而改变。

  • 时间格式中若存在空格,请使用两个调度参数进行拼接。

参数定义

含义

支持的日期格式

参考样例

variate1=$[yyyymmddhh24miss]

获取任务执行的定时时间,可精确到时、分、秒。

yyyy、yy、mm、dd、hh24、mi及ss。

  • 场景:天任务在2022年11月22日的1点执行。

  • 赋值结果:variate1=20221122010000

variate2=${yyyymmdd}

获取业务日期,只能精确到年、月、日。

yyyy、yy、mm及dd。

  • 场景:天任务在2022年11月22日的1点执行。

  • 赋值结果:variate2=20221121