实时计算任务提交说明

完成实时计算任务开发并提交时,Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查,以确保您提交的任务符合提交条件,降低错误任务提交的可能性。

血缘关系解析说明

系统在任务提交时,解析开发环境的血缘关系;发布时,解析生产环境的血缘关系。解析血缘关系条数不超过10万条,超过则不予记录,在资产目录中无法展示。

提交详情说明

提交实时计算任务时,在提交对话框中,支持查看任务的提交内容、前置检查结果以及填写提交备注。

image.png

  • 提交内容

    可以查看当前提交任务对象的对象类型、任务模式、变更类型以及变更内容。变更内容信息包括基本信息任务详情

  • 前置检查

    提交实时计算任务时,将进行以下前置校验,未正确配置所有校验项将不支持提交。

    校验项

    描述

    实时模式

    变量配置

    变量配置是对计算任务代码中所用的变量进行检查,包括本地变量是否已设置、参数名称是否合法。更多信息,请参见实时模式变量配置

    离线模式

    调度依赖

    Dataphin通过各个节点的调度依赖配置结果,有序地运行业务流程中各个节点,保障业务数据有效、适时地产出。更多信息,请参见离线模式调度配置

    变量配置

    变量配置是对计算任务代码中所用的变量进行检查,包括本地变量是否已设置、参数名称是否合法。更多信息,请参见离线模式变量配置

  • 提交备注

    支持填写本次任务提交的备注信息,128个字符以内。

检查项说明

提交实时计算任务后,在提交对话框中,支持查看任务的检查项和检查结果。

image.png

检查项

描述

变量配置

系统将解析代码中所有变量,并以列表形式展示。将检查变量的参数名称的合法性(仅支持数字、字母、下划线)、本地变量是否已赋值。

语法检查

Flink_SQL任务将进行语法检查。将检查SQL语法的正确性。检查到Flink_SQL任务中代码语法存在错误时,您可以单击定位错误,前往编辑器界面查看语法错误所在行。

说明

代码中的语法错误,Dataphin系统无法进行定位时,将直接提示报错信息。

对象检查

Flink_SQL任务将进行对象检查,检查所有对象是否已提交且发布到生产环境。系统将解析代码中所有引用的对象,并以列表形式展示。包括对象名称、对象类型、检查结果。

  • 对象类型:检查的对象类型包括元表、镜像表、物理表、数据源表、函数、资源。

  • 检查结果:包括成功和失败。

    • 成功:所有检查对象已提交且发布到生产环境。

      说明

      若catalog为硬编码方式, 则系统只会校验相应环境的对象是否存在。

    • 失败:存在未提交或未发布到生产环境的检查对象。

      说明

      检查对象中有字段不存在时,也将为检查失败。

编译检查

将检查代码中表及字段是否存在、函数用法是否正确、字段类型是否支持。

权限校验

系统将解析代码中所有对象并以列表形式展示是否具备对象的操作权限。若权限校验成功,说明当前操作用户具备检查对象的相应权限;若权限校验失败,则表明当前操作用户不具备对应对象的权限,并在权限校验对话框中展示相应的无权限对象列表。

  • 对象名称:无权限对象的对象名称,不同类型对象名称格式不同。

  • 对象类型:表和全局变量。

  • 权限类型:本次运行脚本中所需要的权限,其中数据源表只有查表数据权限;数据源只有执行权限。

  • 操作:若检查对象失败,您可以针对单个或多个对象进行权限申请。

    • 单个对象权限申请:单击目标对象操作列的image.png图标,申请该对象权限点的个人权限,默认有效期为30天。

    • 批量权限申请:选中多个对象或选中全选表后单击权限申请

    申请权限具体操作,请参见申请权限。获得权限后可重新运行。

依赖检查

将对依赖配置及输出配置进行检查。

  • 依赖配置:将检查任务已配置的依赖节点对象在开发环境中是否存在。

  • 输出配置:将检查任务的输出名称在当前租户中是否存在重复。

代码审核

如果任务存在触发代码审核的内容,系统将进行代码审核检查。例如,任务中引用了开启代码审核的全局变量。

代码审核检查将自动生成申请工单,向审核人提交申请。支持对代码审核申请进行撤销打开工单操作。