通过单条管道创建集成任务

更新时间: 2023-09-25 17:50:25

离线单条管道即处理离线集成任务的一条管道脚本,可以将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。本文为您介绍如何通过离线单条管道配置集成任务。

前提条件

已完成数据源配置。您需要在配置集成任务前,配置好您需要集成的数据源和目标数据库,以便在配置离线单条管道过程中,为您的开发组件选择数据源来控制集成任务的读取和写入数据库。离线管道支持的数据源详情请参见:支持的数据源

步骤一:创建离线单条管道

  1. 请参见数据集成入口,进行数据集成页面。

  2. 在数据集成页面,按照下图操作指引,进入创建管道开发脚本对话框。

    image
  3. 创建管道开发脚本对话框中,配置管道相关参数。

    参数

    描述

    管道名称

    填写管道名称。

    命名规则:支持最长64个字符,不支持以下特殊字符:|\/:?<>*"

    调度类型

    选择管道的调度类型。调度类型包括:

    • 周期性节点指需定期执行的任务。

    • 手动节点指没有依赖关系,需手动触发的任务。

    描述

    填写对离线单条管道的简单描述。

    选择目录

    默认选择为离线管道。同时您也可以在离开管道页面创建目标文件夹后,选择该目标文件夹为离线管道任务的目录。

    image
  4. 单击确定

步骤二:开发离线管道脚本

离线单条管道采用可视化组件的开发方式,您可通过单击画布侧边栏组件库,选择所需组件类型后拖拽组件到管道开发画布中,开发管道脚本。如下图所示:

image
  • 组件类型:组件库分为输入转换流程输出自定义5种组件类型。各组件类型使用场景各不相同,您可根据集成组件库开发说明和业务需求选择所需组件类型进行开发。

  • 组件:开发管道脚本的功能模块,各组件对应不同的功能。您可根据组件配置说明和业务需求选择所需组件进行开发。

步骤三:管道调度配置

  1. 单击开发画布菜单栏image按钮,进行调度配置。

  2. 在调度配置页面,配置集成管道的基本信息调度配置调度依赖调度参数、运行配置。各配置说明如下:

  • 基本信息:通过集成管道基本信息,您可配置集成管道任务开发负责人、运维负责人及描述。详细说明,请参见:配置离线集成管道基本信息

  • 调度配置:用于定义集成管道任务在生产环境的调度方式。您可以通过调度属性,配置集成管道任务的调度类型、调度周期、调度逻辑与执行等。详细说明,请参见:离线集成管道调度配置

  • 调度依赖:用于定义集成管道任务在调度任务中的依赖节点。Dataphin通过各个节点的调度依赖的配置结果,有序的运行业务流程中各个节点,保障业务数据有效、适时地产出。详细说明,请参见:配置离线管道调度依赖配置

  • 运行配置:您可根据业务场景为该集成管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略,杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。详情说明,请参见:离线管道任务运行配置

步骤四:保存并提交离线集成任务

  1. 单击画布上方的保存图标,保存管道任务。

  2. 单击画布上方的提交图标,在提交备注对话框,填写备注信息后,单击确定并提交

后续步骤

  • 如果您的开发模式是Dev-Prod模式,则需要发布任务,详情请参见管理发布任务

  • 如果您的开发模式是Basic模式,则提交成功后的任务,即可参与生产环境的调度。您可前往运维中心查看您发布的任务。详情请参见运维中心概述

阿里云首页 智能数据建设与治理 Dataphin 相关技术圈