通过单条管道创建集成任务

更新时间:
复制为 MD 格式

离线单条管道即处理离线集成任务的一条管道脚本,可以将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。本文为您介绍如何通过离线单条管道配置集成任务。

前提条件

已完成数据源配置。您需要在配置集成任务前,配置好您需要集成的数据源和目标数据库,以便在配置离线单条管道过程中,为您的开发组件选择数据源来控制集成任务的读取和写入数据库。离线管道支持的数据源详情,请参见数据集成支持的数据源

操作步骤

步骤一:创建离线单条管道

  1. Dataphin首页的顶部菜单栏中,选择研发 > 数据集成

  2. 在集成页面顶部菜单栏选择项目(Dev-Prod模式需要选择环境)。

  3. 单击离线集成列表中的image图标,选择离线管道,打开创建离线管道对话框。

  4. 创建离线管道对话框中,配置管道相关参数。

    参数

    描述

    管道名称

    填写管道名称。支持最长64个字符,不支持特殊字符:竖线(|)、正斜线(/)、反斜线(\)、半角冒号(:)、半角问号(?)、尖括号(<>)、星号(*)、半角单引号('')。

    调度类型

    选择管道的调度类型。调度类型包括:

    • 周期性节点指需定期执行的任务。

    • 手动节点指没有依赖关系,需手动触发的任务。

    描述

    填写离线单条管道的简单描述,1000个字符以内。

    选择目录

    选择任务所存放的目录。

    若未创建目录,您可以新建文件夹,操作方法如下:

    1. 在页面左侧计算任务列表上方单击image图标,打开新建文件夹对话框。

    2. 新建文件夹对话框中输入文件夹名称并根据需要选择目录位置。

    3. 单击确定

  5. 单击确定

步骤二:开发离线管道脚本

离线单条管道采用可视化组件的开发方式,您可通过单击画布侧边栏组件库,选择所需组件类型后拖拽组件到管道开发画布中,开发管道脚本。

  • 组件类型:组件库分为5种组件类型,包括输入转换流程输出自定义。各组件类型使用场景各不相同,您可根据业务需求选择所需组件类型进行开发。更多信息,请参见集成组件库开发说明

  • 组件:开发管道脚本的功能模块,各组件对应不同的功能。您可根据业务需求选择所需组件进行开发。更多信息,请参见组件配置说明

步骤三:管道调度配置

  1. 单击开发画布菜单栏的调度配置按钮,进行调度配置。

  2. 在调度配置页面,配置集成管道的基本信息调度配置调度依赖调度参数运行配置资源配置。各配置说明如下:

    • 基本信息:通过集成管道基本信息,您可配置集成管道任务开发负责人、运维负责人及描述。配置说明,请参见配置离线集成管道基本信息

    • 调度配置:对于周期性节点,调度配置用于定义集成管道任务在生产环境的调度方式。您可以通过调度属性,配置集成管道任务的调度类型、调度周期、调度逻辑与执行等。配置说明,请参见离线集成管道调度配置

    • 调度依赖:对于周期性节点,调度依赖用于定义集成管道任务在调度任务中的依赖节点。Dataphin通过各个节点的调度依赖的配置结果,有序的运行业务流程中各个节点,保障业务数据有效、适时地产出。配置说明,请参见配置离线管道调度依赖配置

    • 运行配置:您可根据业务场景为该集成管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略,杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。配置说明,请参见离线管道任务运行配置

    • 资源配置:您可为当前离线集成任务配置所属资源组,该离线集成任务将使用该资源组资源进行任务调度。配置说明,请参见配置离线集成管道任务资源

步骤四:保存并提交离线集成任务

  1. 单击画布上方的保存图标,保存管道任务。

  2. 单击画布上方的提交图标,在提交备注对话框,填写备注信息后,单击确定并提交

    提交时,Dataphin将进行任务的血缘解析及提交检查。更多信息,请参见集成任务提交说明

后续步骤

  • 如果您的开发模式是Dev-Prod模式,则需要发布任务。更多信息,请参见管理发布任务

  • 如果您的开发模式是Basic模式,则提交成功后的任务,即可参与生产环境的调度。您可前往运维中心查看您发布的任务。更多信息,请参见运维中心