离线集成

区块

说明

①离线集成目录

创建的离线管道任务将在任务目录中进行统一管理。任务目录支持的管理操作如下：

• 目录工具栏：支持筛选、上传（上传管道开发脚本）、刷新、新建文件夹及定位。

• 创建集成任务：单击按钮，支持创建单条管道任务、脚本管道任务以及极速同步管道任务。

  • 单条管道任务：支持可视化拖拽方式将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。具体操作，请参见通过单条管道创建集成任务。

  • 脚本管道任务：支持脚本代码方式将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。具体操作，请参见通过脚本模式创建集成任务。

  • 极速同步管道任务：基于Apache Arrow列式内存格式进行端到端的数据传输，适用于大批量数据的高吞吐同步场景。具体操作，请参见创建极速同步管道任务。

• 离线管道任务：支持复制、获取锁、编辑、克隆、重命名、移动、删除、下线、下线并删除、修改 归属项目 。

  重要

  Basic模式删除任务提交成功后，即更新至生产环境，请谨慎操作；Dev-Prod模式删除任务提交成功后，请前往待发布列表，以发布对象至生产环境。

• 离线集成任务列表：单击离线集成任务列表，可以通过列表方式管理创建的离线集成任务。更多信息，请参见查看及管理离线集成任务列表。

• 移动任务：离线脚本任务、离线管道任务和普通文件夹都支持在离线集成目录中移动，其中离线脚本任务和离线管道任务还支持移动至离线整库迁移的文件夹中；普通文件夹不支持移入和移出离线整库迁移的文件夹。

  当普通文件夹中存在子节点时，不可被删除。当离线整库迁移文件夹被删除时，将一并删除该文件夹中包含的所有任务，包括离线脚本任务和离线管道任务。

②工具栏

工具栏支持保存、运行、预览、调度配置、通道配置、质量监控、提交、去发布、去运维、刷新、获取锁、定位。

• 保存：单击工具栏中的图标，对开发中的离线管道进行保存。

• 运行：单击工具栏中的图标，运行当前开发中的离线管道。若当前账号不具有行级权限，您可以单击申请权限图标，跳转至管理中心 > 权限管理 > 我的权限 > 行级权限页面申请权限后重新运行。

• 预览：单击工具栏中的图标，预览当前离线管道运行后的集成结果。

• 调度配置：单击工具栏中的图标，打开属性面板的调度配置页签。调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。更多信息，请参见离线管道调度配置。

• 通道配置：单击工具栏中的图标，打开属性面板的通道配置页签。通过离线集成管道通道配置，您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道流量监控。更多信息，离线集成管道通道配置。

• 质量监控：单击工具栏中的图标，打开质量监控面板。您可以为集成管道中的数据表配置质量监控规则。更多信息，请参见配置集成管道质量监控。

• 提交：单击工具栏中的图标，将离线集成管道提交至发布中心或管理中心。更多信息，请参见发布中心。

• 去发布：单击工具栏中的图标，发布最新的待发布内容。A已提交到发布中心的离线集成管道，您可以前往发布中心进行发布操作。

• 去运维：单击工具栏中的图标，运维已发布的实例。已提交到运维中心的离线集成管道，您可以前往运维中心进行运维操作。更多信息，请参见运维中心。

• 切换为脚本模式：单击图标并在下拉选项中单击切换为脚本模式。可以将当前离线管道切换为离线脚本。适用于需要自动获取字段信息，并生成完整的JSON配置的场景，可以有效提高脚本模式配置的效率。切换成脚本模式后，不支持切换回离线管道模式。

• 刷新：单击工具栏中的图标刷新当前离线管道任务。

• 获取锁：单击工具栏中的图标获取离线管道任务的编辑锁。

• 定位：单击工具栏中的图标在任务目录中定位到当前离线集成管道任务。

• 下线：单击工具栏中的图标，选择下线，对已上线的集成任务进行下线操作。

• 删除：单击工具栏中的图标，选择删除，删除当前集成任务。

  重要

  Basic模式删除任务提交成功后，即更新至生产环境，请谨慎操作；Dev-Prod模式删除任务提交成功后，请前往待发布列表，以发布对象至生产环境。

③开发画布

• 可视化开发：在开发画布，您可以在组件库抽屉中，拖拽至画布进行开发。Dataphin支持的开发组件及开发说明，请参见集成组件库开发说明。

• 代码脚本开发：对于脚本任务，您可以在代码编辑器中使用代码开发离线管道任务。

④配置及管理

配置及管理支持集成任务的属性配置、质量监控、相关、历史。

• 属性配置：配置离线管道任务的属性，包括基本信息、调度配置、调度依赖、运行配置等。更多信息，请参见配置离线管道任务属性。

• 质量监控：通过配置离线集成管道的质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。具体操作，请参见配置集成管道质量监控。

• 相关：离线管道的相关对象，指当前离线管道任务引用读取的表、引用读取当前任务的表以及将当前任务作为上游依赖的任务。

• 历史：查看及管理任务历史版本。

⑤控制台

运行或预览任务时，将在控制台显示结构化之后的运行结果信息。包括预览结果、运行信息、通道信息、步骤度量、日志信息、异常信息、性能诊断、运行代码。