DataWorks为您提供任务搬站功能,您可以批量创建任务,也可以下载DataWorks工作流标准模板后,根据模板规则编辑文件。
注意 该功能处于内测阶段,如果您有相关需求,请提交工单进行申请。
进入搬站页面
- 登录DataWorks控制台。
- 在左侧导航栏,单击工作空间列表。
- 单击相应工作空间后的进入数据开发。
- 单击左下角的
图标,在右侧展开设置页面。
- 单击顶部菜单栏中的工作空间备份恢复。
- 单击搬站,即可下载DataWorks工作流标准模板、上传工作流模板,以及导入工作流模板。
DataWorks工作流标准模板说明
在下载DataWorks工作流标准模板,即可下载标准模板至本地。
页面,单击说明 为保证顺利解析文件,请勿修改模板中XML文件的名称。
下载的标准模板包括src文件夹、project.xml文件和Readme.md文件:
- src文件夹中包括一个workflows文件夹,您可以在该文件夹下编辑DataWorks工作空间的业务流程。
一个业务流程对应一个文件夹,您可以自定义业务流程的名称。标准模板中默认包含两个业务流程的文件夹,您可以根据自身需求进行调整。任意一个业务流程的文件夹都有一个workflow.xml文件,该文件主要包括workflow自身的属性和Node的属性。注意
- 不支持修改workflow.xml文件的名称。
- 整个标准模板中,您只能自定义workflows文件夹下的文件夹名称。
- workflow的基本属性
属性 描述 name 业务流程的名称,建议和workflow.xml文件所属的文件夹名称保持一致。 scheduled 通过scheduled属性来判断是手动业务流程还是周期调度业务流程。 - 如果
scheduled="true"
,该业务流程为周期调度业务流程。 - 如果
scheduled="false"
,该业务流程为手动业务流程。
- 如果
- Node的基本属性
属性 描述 是否必选 默认值 备注 name 节点的名称 是 无 无 type 节点的类型 是 无 节点类型与节点名称的映射关系如下: - VIRTUAL:虚节点
- DI:数据集成节点
- ODPS_SQL:ODPS SQL节点
- DIDE_SHELL:普通Shell节点
cronExpress 定时表达式 否 默认值为day,表示每天调度一次 由于此处的cron表达式和通用表达式不一致,建议暂不配置该值,待导入模板后,在节点的编辑页面进行配置。您也可以参考调度配置界面cron表达式的值进行替换。 Input data 父节点的输出名称 否 无 一个节点支持有多个Input data。如果不填写,需要导入模板后,在节点的编辑页面进行配置。 Output data 本节点的输出名称 否 无 一个节点支持有多个Output data。如果不填写,需要导入模板后,在节点的编辑页面进行配置。 Code 代码的详情 否 无 节点代码,不同类型的节点,代码不同: - SQL节点的代码是一段SQL文本。
- Shell节点的代码是Shell语句。
- 数据集成节点的代码是JSON配置,您可以通过脚本模式进行查看,或发布至运维中心查看节点的代码。
- 虚节点无需填写代码。
Parameter 调度参数 否 无 多个参数间请使用空格分隔,不同类型的节点调度参数的写法不一致,详情请参见调度参数。
- project.xml文件需要导入工作空间名称,配置如下。
<?xml version="1.0" encoding="UTF-8"?> <Project name="test_worksapce01"></Project>
说明 name为必填属性,值为导入的工作空间名称。 - Readme.md文件是导入模板内置的参数解析文档,您在编辑任务的过程中,可以查看该文档加深对各参数的理解。
上传工作流模板
- 您在本地编辑模板后,单击点击上传,上传编辑好的模板至DataWorks。
注意 上传的文件不能大于30M。
页面的
- 文件解析成功后,搬站页面为您展示业务流程名称、业务流程类型、定时表达式等信息,确认无误后,单击右上角的开始导入。说明 如果本次上传的节点在导入空间内已存在,将会覆盖已有节点的代码及配置。
- 在开始导入对话框中,单击确认。
- 导入成功后,单击刷新列表,查看导入的结果。您可以单击左上角的
图标,选中 ,查看导入的业务流程。
在文档使用中是否遇到以下问题
更多建议
匿名提交