文档

离线计算任务提交说明

更新时间:

完成离线计算任务开发并提交时,Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查,以确保您提交的任务符合提交条件,降低错误任务提交的可能性。

血缘关系解析说明

血缘关系解析说明系统在任务提交时,解析开发环境的血缘关系;发布时,解析生产环境的血缘关系。解析血缘关系条数不超过10万条,超过则不予记录,在资产目录中无法展示。

提交详情说明

提交离线计算任务时,在提交详情对话框中,支持查看任务的提交内容、前置检查结果以及填写提交备注。

image.png

  • 提交内容

    可以查看当前提交任务对象的对象名称、对象类型、变更类型以及变更内容。变更内容信息包括基本信息计算代码运行参数调度配置调度依赖运行配置资源配置

  • 前置检查

    提交离线计算任务时,将进行以下前置校验,未正确配置所有校验项将不支持提交。

    校验项

    描述

    调度依赖

    Dataphin通过各个节点的调度依赖配置结果,有序地运行业务流程中各个节点,保障业务数据有效、适时地产出。更多信息,请参见配置离线任务调度依赖

    运行参数

    运行参数配置是对计算任务代码中所用的变量进行赋值,从而支持节点调度,参数变量可以自动被替换为相应的变量值。更多信息,请参见参数配置及使用节点参数

    跨节点参数

    透传给本对象节点直接下游节点的变量参数。更多信息,请参见参数配置及使用节点参数

  • 提交备注

    支持填写本次任务提交的备注信息,128字符以内。

检查项说明

提交离线计算任务后,在提交详情对话框中,支持查看任务的检查项和检查结果。

image.png

检查项

描述

配置检查

检查项包括前置检查、代码长度、引用资源数、离线代码模板版本。

  • 前置检查:系统将检查所有必填属性是否已完成填写。

  • 代码长度:将检查代码长度是否在10万个字符以内,超过则不支持提交。

  • 引用资源数:将检查引用资源数量是否超过引用资源数上限,100个资源以内。

  • 离线代码模板版本:将检查离线代码模板版本是否存在变化。

参数配置

系统将解析代码中所有变量,并以列表形式展示,包括参数名称、参数类型、当前实际值。将检查本地变量是否已赋值。

语法检查

仅SQL任务,系统将检查SQL语法的正确性,存在错误时将不支持提交。

对象检查

仅SQL任务,将检查所有引用的对象是否已提交且发布到生产环境。系统将解析代码中所有引用的对象,并以列表形式展示。包括对象名称、对象类型、检查结果。

  • 对象名称:格式为 [catalog].[对象名]

    • 项目空间名称变量:如果代码中catalog是项目空间名称变量${catalog}, 则catalog为生产空间名称。

    • 硬编码:若代码中通过硬编码直接编写的开发空间或生产空间名称, 则为原始名称;省略catalog时,系统将默认为使用${catalog}

    • 省略catalog:省略catalog时,系统将默认为使用${catalog}项目空间名称变量。

  • 对象类型:检查的对象类型包括物理表、字段、逻辑表。

  • 检查结果:包括成功和失败。

    • 成功:所有检查对象已提交且发布到生产环境。

      说明

      若catalog为硬编码方式, 则系统只会校验相应环境的对象是否存在。

    • 失败:存在未提交或未发布到生产环境的检查对象。

      说明

      检查对象中有字段不存在时,也将为检查失败。

权限检查

系统将解析代码中所有对象并以列表形式展示是否具备对象的操作权限。包括对象名称、对象类型、检查结果以及权限申请操作。

  • 对象名称:格式为 [catalog].[对象名]

    • 项目空间名称变量:如果代码中catalog是项目空间名称变量${catalog}, 则catalog为生产空间名称。

    • 硬编码:若代码中通过硬编码直接编写的开发空间或生产空间名称, 则为原始名称;省略catalog默认为使用${catalog}

    • 省略catalog:省略catalog默认为使用${catalog}项目空间名称变量。

  • 对象类型:检查的对象类型包括物理表、全局对象、逻辑表。

  • 检查结果:包括成功和失败。

    • 成功:当前操作用户具备检查对象读/写权限。

      说明

      如果对象为表, 需要有全部引用字段的权限。

    • 失败:当前操作用户不具备检查对象读/写权限。

  • 权限申请:若检查对象失败,您可以单击image.png进行权限申请。具体操作,请参见申请权限

规范检查

仅SQL任务,系统将根据内置规范对SQL进行扫描,并为您展示每一条规范的检查结果。更多信息,请参见编码规范

代码审核

系统将自动检查任务是否存在触发代码审核的配置,如果存在则需要进行代码审核。例如,引用了开启代码审核的全局变量。更多信息,请参见查看内置审批模板

依赖检查

将对依赖配置及输出配置进行检查。

  • 依赖配置:将检查任务已配置的依赖节点对象在开发环境中是否存在。

  • 输出配置:将检查任务的输出名称在当前租户中是否存在重复。

操作执行

检查到此项时,系统将执行提交任务。操作执行过程中不支持撤销提交。