系统设置

DataWorks提供代码模板功能以便快速标记和管理节点,支持通过开启调度功能配置周期任务的调度属性及重跑规则,并通过安全隔离、代码对比和强制冒烟测试确保任务正确性与安全性。本文将为您介绍这些功能的配置方法。

使用限制

  • 空间管理员可进行系统配置,如需操作,可授予用户空间管理员角色权限,详情请参见添加空间成员并管理成员角色权限

  • 配置模板仅对新建的周期任务生效。

  • 调度设置的默认调度属性仅对新建的周期任务生效。

  • 安全设置与其他仅在当前工作空间生效。

功能入口

  1. 进入DataWorks工作空间列表页,在顶部切换至目标地域,找到已创建的工作空间,单击操作列的快速进入 > Data Studio,进入Data Studio。

  2. 在左侧导航栏底部单击image > DataStudio 设置,进入设置页面。

配置代码模板

代码模板是在创建节点后,默认展示的内容,包括节点类型、节点的创建用户、节点的创建时间等信息,帮助您快速标记该节点。通常用于业务层进行节点管理。

设置代码模板

  1. 调度设置页签,找到目标代码类型,单击其对应的编辑按钮,即可根据需求修改该类型节点的代码模板

    DataWorks支持修改的节点类型,请参见支持配置模板的节点列表
  2. 编辑完成后,保存并确认修改。

    您可以通过新建相应节点来查看代码模板修改后的效果。

模板配置可用变量

在定义代码模板时,您可使用相关变量来记录新建该类型任务时的相关信息,目前支持在模板中定义的变量有:

  • ${author}:记录节点创建人。

    在创建节点时,该变量会自动填充为当前登录账号。
  • ${createTime}:记录节点创建时间。

    在创建节点时,该变量会自动填充为当前系统时间。

支持配置模板的节点列表

DataWorks支持配置自定义代码模板的节点类型如下:

引擎类型

节点类型

MaxCompute

MaxCompute Script节点

MaxCompute SQL节点

MaxCompute MR节点

PyODPS 2节点

PyODPS 3节点

Hologres

Hologres SQL节点

EMR

EMR Hive节点

EMR Impala节点

EMR Presto节点

EMR Shell节点

EMR Spark SQL节点

EMR Trino节点

CDH

CDH Hive节点

CDH Spark SQL节点

CDH Presto节点

CDH Impala节点

ClickHouse

ClickHouse SQL

通用

Shell节点

HTTP触发器节点

设置周期任务的默认调度配置

若新建的周期任务需周期性运行,需先开启调度功能,任务的调度配置才能生效。您还可以设置默认资源组、重跑属性、重跑次数和时间间隔等信息。

当前设置仅对新建的周期任务生效。
  1. 调度设置页签,单击修改设置调度任务相关功能的默认配置。

    功能项

    描述

    启用调度周期

    开启该功能后,当前工作空间下的周期任务才会自动调度运行。

    说明

    关闭调度后,操作当天已生成的任务仍会正常执行,但当晚不会生成第二天待运行的周期实例。

    调度时区

    DataWorks工作空间所在地域对应的时区即为调度时区(即任务定时调度时间所使用的时区),DataWorks部分地域支持修改调度时区,详情请参见支持修改调度时区的地域如何切换时区

    定时调度时间

    默认定时调度时间在00:00~00:30随机生成,您可根据业务需求自定义。

    调度资源组

    任务调度运行时默认使用的资源组。

    数据集成资源组

    数据集成任务运行时默认使用的集成资源组。

    重跑属性

    周期任务运行时默认的重跑策略。

    说明

    重跑属性配置为可重跑时,应尽量保证任务的幂等性,避免多次重跑出现数据质量问题。

    自动重跑次数

    周期任务调度执行失败情况下,默认自动重跑的次数。

    重跑次数最少配置为1(即任务出错后自动重跑1次),最多配置为10(即任务出错后会自动重跑10次)。您可以根据业务需求进行修改。

    重跑间隔

    周期任务重跑时默认的重跑时间间隔。

    时间间隔最小支持设置为1分钟,最大支持设置为30分钟。

  2. 单击保存配置默认调度配置信息。

    调度设置配置完成后,新建的周期任务将会使用相关功能的默认配置。

安全设置与其他

DataWorks提供安全隔离功能,支持代码与日志隔离、代码对比及强制冒烟测试,确保任务正确性与代码可靠性,您可根据业务需求在安全设置与其他页签进行灵活配置。

开启安全隔离代码和日志

开启安全隔离代码和日志后,非本工作空间中的成员将无权限查看本工作空间的任务代码及运行日志。如需查看,请联系管理员将您添加为空间成员,详情请参见添加空间成员并管理成员角色权限

启用任务提交展示基线

开启该功能后,发布任务时会展示任务所属的基线,帮助您判断当前任务的变更操作是否会影响基线任务的正常执行。

启用强制冒烟测试

开启该功能后,发布任务时需确保冒烟测试运行通过,任务才能正常发布。更多详情请参见冒烟测试

image

启用代码对比功能

开启该功能后,发布任务时需完成对比发布内容查看,任务才能正常发布。

image

启用依赖检查功能

开启该功能后,发布任务时系统会自动检查当前节点配置的上游依赖是否与代码血缘分析结果一致,只有当两者匹配时,任务才能被成功发布。更多详情请参见调度依赖