集成任务提交说明

完成集成任务开发并提交时,Dataphin系统将自动解析任务中表和字段的血缘关系,并确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查,以确保您提交的任务符合提交条件,降低错误任务提交的可能性。

血缘关系解析说明

  • 系统在任务提交时,解析开发环境的表和字段血缘关系;发布时,解析生产环境的表和字段血缘关系。单个任务提交发布支持解析不超过10万条血缘关系,超过则不予记录,在资产目录中无法展示。

  • 离线集成任务支持自动解析的字段血缘为元数据中心支持采集的数据源类型的表,支持的数据源请参见元数据采集概览

  • 使用Schema选择表的输入组件,若该组件关联的数据源Schema更新,需重新提交集成任务才能自动更新血缘。

  • 若您使用了MySQL输入组件且按规则圈选多张表,仅为您自动解析前50张表对应的血缘关系;若使用select*表达式圈选表,则仅自动解析查询结果对应的第一张表的血缘。

  • 若任务配置中包含基于自定义数据源创建的表,且自定义数据源没有配置具体的Database/Schema,系统自动解析血缘关系时,将自动为相关表名称增加default_schema前缀。

  • 当在过滤组件中通过where条件加工字段的计算逻辑,或在字段计算组件中使用内置函数加工字段的计算逻辑,则字段血缘图中展示为直接血缘。

离线集成任务

提交详情说明

提交集成任务时,在提交对话框中,查看任务的提交内容、前置检查结果以及填写提交备注。

  • 提交内容

    可以查看当前提交任务对象的对象名称、对象类型及变更类型。

  • 前置检查

    提交离线集成任务时,将进行以下前置检查,未正确配置所有检查项将不支持提交。

    校验项

    描述

    调度依赖

    Dataphin通过各个节点的调度依赖配置结果,有序地运行业务流程中各个节点,保障业务数据有效、适时地产出。更多信息,请参见配置离线管道调度依赖

    运行参数

    运行参数配置是对集成任务中所用的变量进行赋值,从而支持节点调度,参数变量可以自动被替换为相应的变量值。更多信息,请参见配置离线管道运行参数

    跨节点参数

    透传给本对象节点直接下游节点的变量参数。更多信息,请参见跨节点变量

  • 提交备注

    支持填写本次任务提交的备注信息,128个字符以内。

检查项说明

提交集成任务后,在提交内容对话框中单击确认并提交,在提交对话框中查看任务的检查项和检查结果。

检查项

描述

配置检查

检查集成管道的ID配置、集成管道名称配置、集成管道FileId配置、集成管道对象类型配置、集成管道调度配置以及集成管道配置是否正确。

参数配置

检查集成管道参数的当前实际值是否正确。

权限检查

检查集成管道的对象是否具备权限。若检查对象失败,您可以单击image.png进行权限申请。具体操作,请参见申请权限

表结构检查

先校验生产表是否存在,若不存在,则状态为告警,错误详情中将展示为:<表名>表在生产环境不存在;再校验开发与生产表结构一致性,若检查不通过,则状态为告警,错误详情中将展示为:<表名>表结构开发与生产环境不一致

说明

检查不通过时仅给出告警,不阻塞提交。

表重复性检查

检查集成管道的表是否存在重复。

实时集成任务

提交详情说明

image.png

提交实时集成任务时,在提交对话框中,支持查看任务的提交内容和提交备注。

  • 提交内容

    可以查看当前提交任务对象名称、对象类型、变更类型。

  • 提交备注

    支持填写本次任务提交的备注信息,128个字符以内。

检查项说明

image.png

检查项

描述

权限校验

检查实时集成的对象是否具备权限。

操作执行

检查到此项时,系统将执行提交任务。操作执行过程中不支持撤销提交。