离线单条管道即处理离线集成任务的一条管道脚本,可以将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。本文为您介绍如何通过离线单条管道配置集成任务。
前提条件
已完成数据源配置。您需要在配置集成任务前,配置好您需要集成的数据源和目标数据库,以便在配置离线单条管道过程中,为您的开发组件选择数据源来控制集成任务的读取和写入数据库。离线管道支持的数据源详情,请参见数据集成支持的数据源。
操作步骤
步骤一:创建离线单条管道
在Dataphin首页,单击顶部菜单栏的研发->数据集成。
按照以下操作指引,进入创建管道开发脚本对话框。
选择项目(Dev-Prod 模式需要选择环境)->单击离线集成->单击新建图标->单击离线管道。
在创建离线管道对话框中,配置管道相关参数。
参数
描述
管道名称
填写管道名称。支持最长64个字符,不支持特殊字符:
|\/:?<>*"
。调度类型
选择管道的调度类型。调度类型包括:
周期性节点:指需定期执行的任务。
手动节点:指没有依赖关系,需手动触发的任务。
描述
填写离线单条管道的简单描述,1000个字符以内。
选择目录
默认选择为离线管道。同时您也可以在离线管道页面创建目标文件夹后,选择该目标文件夹为离线管道任务的目录。
单击确定。
步骤二:开发离线管道脚本
离线单条管道采用可视化组件的开发方式,您可通过单击画布侧边栏组件库,选择所需组件类型后拖拽组件到管道开发画布中,开发管道脚本。如下图所示:
组件类型:组件库分为5种组件类型,包括输入、转换、流程、输出、自定义。各组件类型使用场景各不相同,您可根据业务需求选择所需组件类型进行开发。更多信息,请参见集成组件库开发说明。
组件:开发管道脚本的功能模块,各组件对应不同的功能。您可根据业务需求选择所需组件进行开发。更多信息,请参见组件配置说明。
步骤三:管道调度配置
单击开发画布菜单栏按钮,进行调度配置。
在调度配置页面,配置集成管道的基本信息、调度配置、调度依赖、调度参数、运行配置、资源配置。各配置说明如下:
基本信息:通过集成管道基本信息,您可配置集成管道任务开发负责人、运维负责人及描述。配置说明,请参见配置离线集成管道基本信息。
调度配置:对于周期性节点,调度配置用于定义集成管道任务在生产环境的调度方式。您可以通过调度属性,配置集成管道任务的调度类型、调度周期、调度逻辑与执行等。配置说明,请参见离线集成管道调度配置。
调度依赖:对于周期性节点,调度依赖用于定义集成管道任务在调度任务中的依赖节点。Dataphin通过各个节点的调度依赖的配置结果,有序的运行业务流程中各个节点,保障业务数据有效、适时地产出。配置说明,请参见配置离线管道调度依赖配置。
运行配置:您可根据业务场景为该集成管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略,杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。配置说明,请参见离线管道任务运行配置。
资源配置:您可为当前离线集成任务配置所属资源组,该离线集成任务将使用该资源组资源进行任务调度。配置说明,请参见配置离线集成管道任务资源。
步骤四:保存并提交离线集成任务
单击画布上方的图标,保存管道任务。
单击画布上方的图标,在提交备注对话框,填写备注信息后,单击确定并提交。
提交时,Dataphin将进行任务的血缘解析及提交检查。更多信息,请参见集成任务提交说明。