通过脚本模式创建集成任务

更新时间: 2023-08-10 14:29:15

创建离线脚本模式后,可以通过直接编写数据同步的JSON脚本来完成数据同步开发,为数据同步开发提供了更灵活的能力和更精细化的配置管理。本文为您介绍如何创建离线脚本模式。

前提条件

已完成数据源配置。您需要在配置集成任务前,配置好您需要集成的数据源和目标数据库,以便在开发配置离线集成脚本过程中读取和写入数据库。离线管道支持的数据源详情请参见:支持的数据源

步骤一:创建离线脚本

  1. 请参见数据集成入口,进行数据集成页面。

  2. 在数据集成页面,按照下图操作指引,进入创建管道开发脚本对话框。

    image
  3. 创建离线脚本对话框,配置参数。

    区域

    参数

    描述

    基本信息

    任务名称

    填写离线脚本名称。命名规则如下:

    • 除竖线(|)、半角冒号(:)、半角问号(?)、尖括号(<>)、星号(*)、半角引号(")、罗马字符(v)外,其余字符均支持。

    • 不能超过64个字符。

    调度类型

    选择离线脚本的调度类型。调度类型包括:

    • 周期性节点:指需定期执行的任务。

    • 手动节点:指没有依赖关系,需手动触发的任务。

    描述

    填写对离线脚本的简单描述。

    选择目录

    选择离线脚本所在的文件夹。

    数据源配置

    来源类型

    选择来源数据源类型。

    数据源

    选择来源数据源。如果没有对应的数据源,可单击新建,后续步骤请参见支持的数据源

    说明

    仅可选择有同步读权限的数据源,如何申请,详情请参见申请数据源权限

    目标类型

    选择需要同步写入数据的数据源类型。

    数据源

    选择需要同步写入数据的数据源。如果没有对应的数据源,可单击新建,后续步骤请参见支持的数据源

    说明

    仅可选择有同步写权限的数据源,如何申请,详情请参见申请数据源权限

  4. 单击确定

步骤二:开发离线脚本

离线脚本采用代码编码的开发方式,通过编写数据同步的JSON脚本来完成数据同步开发,提供了更灵活的能力和更精细化的配置。如下图所示:

image

步骤三:管道调度配置

  1. 单击开发画布菜单栏image按钮,进行调度配置。

  2. 在调度配置页面,配置集成管道的基本信息调度配置调度依赖调度参数、运行配置。各配置说明如下:

    • 基本信息:通过集成管道基本信息,您可配置集成管道任务开发负责人、运维负责人及描述。详细说明,请参见:配置离线集成管道基本信息

    • 调度配置:用于定义集成管道任务在生产环境的调度方式。您可以通过调度属性,配置集成管道任务的调度类型、调度周期、调度逻辑与执行等。详细说明,请参见:离线管道调度配置

    • 调度依赖:用于定义集成管道任务在调度任务中的依赖节点。Dataphin通过各个节点的调度依赖的配置结果,有序的运行业务流程中各个节点,保障业务数据有效、适时地产出。详细说明,请参见:配置离线管道调度依赖

    • 运行配置:您可根据业务场景为该集成管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略,杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。详情说明,请参见:离线管道任务运行配置

  3. 单击确定

步骤四:保存并提交离线集成任务

  1. 单击画布上方的保存图标,保存管道任务。

  2. 单击画布上方的提交图标,在提交备注对话框,填写备注信息后,单击确定并提交

后续步骤

  • 如果您的开发模式是Dev-Prod模式,则需要发布任务,详情请参见管理发布任务

  • 如果您的开发模式是Basic模式,则提交成功后的任务,即可参与生产环境的调度。您可前往运维中心查看您发布的任务。详情请参见运维中心概述

阿里云首页 智能数据建设与治理 Dataphin 相关技术圈