查看及管理离线集成任务列表

离线集成任务列表是指在Dataphin创建的离线集成任务集合。在Dataphin的离线集成任务列表为您展示了离线集成任务的基本信息及相关管理操作选项,方便您查看创建的离线集成任务并进行管理。本文为您介绍离线集成任务列表支持的管理功能。

离线集成列表入口

  1. 在Dataphin首页的顶部菜单栏中,选择研发 > 数据集成

  2. 集成页面的顶部菜单栏选择项目

  3. 在左侧导航栏中选择集成 > 离线集成,在离线集成列表底部,单击离线集成任务列表,打开离线集成任务列表页签。

离线集成任务列表介绍

离线集成任务列表页面主要由工具栏、筛选区、离线集成任务列表、批量操作区组成您可以在离线集成任务列表页面查看创建的离线集成任务并进行相关管理操作。

image.png

区域

描述

功能区

  • 搜索及筛选:支持通过输入集成任务ID或集成任务名称来筛选离线集成任务,适用于知晓任务ID或任务名称时进行快捷筛选出所需的离线集成任务。同时支持勾选我开发的进行筛选。

  • 查看批量操作记录:单击查看批量操作记录,可查看批量提交其他操作(批量获取锁、批量下线、批量下线删除、批量移动、批量转交开发负责人、批量调度配置、批量依赖配置、批量参数配置、批量运行配置、批量通道配置)的记录信息。

  • 新建离线集成任务:单击新建离线集成任务,可以新建离线管道任务或离线脚本任务。

    • 离线管道:离线管道即处理离线集成任务的一条管道脚本,可以将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。具体操作,请参见通过单条管道创建集成任务

    • 脚本任务:,可以通过直接编写数据同步的JSON脚本来完成数据同步开发,为数据同步开发提供了更灵活的能力和更精细化的配置管理。具体操作,请参见通过脚本模式创建集成任务

  • 设置集成任务列表显示项:可勾选当前离线集成任务列表的显示项。离线集成任务支持的显示项包括:

    • 基本信息:任务名称/ID、任务模式、来源信息、目标信息、任务状态、最近提交状态、当前锁定人、开发负责人、运维负责人。

    • 配置信息:调度类型、调度周期、依赖、参数。

    • 其他信息:创建时间、最近修改人、操作。

      说明

      任务名称/ID操作项不支持关闭。

  • 刷新:单击image可刷新当前离线集成任务列表。

筛选区

单击image,可展开筛选区。

支持筛选项包括:

  • 任务模式:根据任务模式进行筛选,包括离线管道离线脚本

  • 调度类型:支持通过集成任务的调度类型进行筛选。包括正常调度空跑调度暂停调度手动任务。更多信息,请参见调度方式说明

  • 开发负责人:根据任务的开发负责人进行筛选。

  • 最近提交状态:最近1次提交的提交详情状态进行筛选。包括提交中提交失败提交告警提交成功

  • 任务状态:根据集成任务的开发状态进行筛选。包括草稿开发中已提交提交中

  • 调度周期:支持分钟小时共5种调度周期筛选。

  • 运维负责人:支持选择我运维的或根据任务的运维负责人进行筛选。

  • 已发布:通过集成任务是否已发布状态进行筛选。

  • 来源数据源/项目/数据板块:通过集成任务的来源数据源/项目/数据板块进行筛选。

  • 目标数据源/项目/数据板块:通过集成任务的目标数据源/项目/数据板块进行筛选。

  • 来源表:通过集成任务的来源表名称进行筛选。

    说明

    通过来源表进行筛选需先选择集成任务的来源数据源/项目/数据板块。

  • 目标表:通过集成任务的目标表名称进行筛选。

    说明

    通过目标表进行筛选需先选择集成任务的目标数据源/项目/数据板块。

  • 创建时间:通过集成任务的创建时间进行筛选。支持选择近3天近7天近1月自定义某一时间区间

  • 最近修改时间:通过集成任务的最近修改时间进行筛选。支持选择近3天近7天近1月自定义某一时间区间

  • 条件调度:通过集成任务的条件调度是否已开启未开启筛选。

如果您需要重新筛选,则可单击重置,即可快速清空所有筛选条件,恢复系统默认。

离线集成任务列表

离线集成任务列表为您展示当前已创建的离线集成任务信息及支持的操作。

离线集成任务所展示的信息由任务列表所设置显示项决定。离线集成任务支持的操作,请参见。

批量操作区

可以通过批量操作区域提供的批量操作功能,批量对离线集成任务进行批量处理,提高操作效率。

离线集成任务支持的批量操作,请参见。

离线集成任务列表支持的操作

离线集成列表操作栏支持的操作如下:

操作

描述

打开任务

在编辑器中打开当前离线集成任务。

获取锁

可获取当前离线集成任务的编辑锁并锁定。

说明

列表内不支持释放锁操作,请到编辑区释放。

目录定位

可在左侧目录树中定位到该离线集成任务。

转交开发负责人

可将当前离线集成任务的开发负责人变更为其他开发负责人。

去发布

可跳转到发布中心对该离线集成任务进行发布。发布集成任务,详情请参见管理发布任务

去运维

可跳转到运维中心对该离线集成任务进行运维管理操作。详情请参见运维中心概述

说明

仅支持已发布的离线集成任务。

下线

对已上线的离线集成任务可进行下线操作。

删除

对已下线的离线集成任务进行删除操作。

说明

在开发环境完成删除操作后,系统将会生成变更类型为删除的待发布对象。若需删除生产环境的集成任务,需前往待发布列表发布对象至生产环境。

下线并删除

对已上线的离线集成任务可进行下线并删除。

说明

在开发环境完成下线并删除操作后,系统将会生成变更类型为删除的待发布对象。若需删除生产环境的集成任务,需前往待发布列表发布对象至生产环境。

离线集成任务支持的批量操作

操作

描述

锁定

支持同时获取多个离线集成任务的编辑锁。

提交

支持同时提交多个离线集成任务。

下线

支持同时下线多个离线集成任务。

说明

有下游依赖的节点,下线操作将不生效。

下线并删除

支持同时下线多个离线集成任务并删除。

说明
  • 在开发环境完成下线并删除操作后,系统将会生成变更类型为删除的待发布对象。若需删除生产环境的集成任务,需前往待发布列表发布对象至生产环境。

  • 有下游依赖的节点,下线操作将不生效。

移动

支持同时移动多个离线集成任务至其他代码目录下。

转交开发负责人

支持同时转交多个离线集成任务的开发负责人为其他开发负责人。

调度配置

支持同时修改多个离线集成任务的调度配置信息。

批量调度配置仅对周期任务生效;批量配置后,选中的周期任务原有的调度属性配置将被覆盖,请谨慎操作;若选中周期任务已配置条件调度,批量设置为空跑或暂停将批量关闭条件调度。

依赖配置

支持同时配置多个离线集成任务的依赖信息。若存在多个上游依赖,您可单击+添加依赖进行添加。

列表仅显示选中任务共有的(依赖对象与依赖设置相同)人工添加的上游依赖,添加、删除、编辑依赖将应用到所有选中任务。

参数配置

支持同时配置多个离线集成任务的参数。若需配置多个参数,您可单击+添加参数进行添加。

可设置的参数是所选中任务的本地变量合集,系统将覆盖所有选中任务对应参数的值。如果设置参数paramA=valueA,而任务taskA不包含参数paramA,则跳过taskA;如果包含,则设置taskA的paramA为valueA。不支持批量设置空间名称变量和全局变量的取值。

运行配置

支持同时配置多个离线集成任务的运行配置。

重要

批量配置后,选中任务原有的运行配置将被覆盖,请谨慎操作。

通道配置

支持同时配置多个离线集成任务的通道配置。