通过脚本模式创建集成任务

前提条件

已完成数据源配置。您需要在配置集成任务前，配置好您需要集成的数据源和目标数据库，以便在开发配置离线集成脚本过程中读取和写入数据库。离线管道支持的数据源详情，请参见离线集成支持的数据源。

步骤一：创建离线脚本

1. 在Dataphin首页，单击顶部菜单栏的研发。默认进入数据开发页面。

2. 按照下图操作指引，进入创建离线脚本对话框

   

3. 在创建离线脚本对话框，配置参数。

   区域	参数	描述
   基本信息	任务名称	填写离线脚本名称。命名规则如下： 除竖线（|）、半角冒号（:）、半角问号（?）、尖括号（<>）、星号（*）、半角引号（"）、罗马字符（v）外，其余字符均支持。 不能超过64个字符。
   	调度类型	选择离线脚本的调度类型。调度类型包括： 周期性节点：指需定期执行的任务。 手动节点：指没有依赖关系，需手动触发的任务。
   	描述	填写对离线脚本的简单描述。
   	选择目录	选择离线脚本所在的文件夹。
   数据源配置	来源类型	选择来源数据源类型。
   	数据源	选择来源数据源。如果没有对应的数据源，可单击新建，后续步骤请参见离线集成支持的数据源。 说明 仅可选择有同步读权限的数据源，如何申请，详情请参见申请数据源权限。
   	目标类型	选择需要同步写入数据的数据源类型。
   	数据源	选择需要同步写入数据的数据源。如果没有对应的数据源，可单击新建，后续步骤请参见离线集成支持的数据源。 说明 仅可选择有同步写权限的数据源，如何申请，详情请参见申请数据源权限。

4. 单击确定。

步骤二：开发离线脚本

离线脚本采用代码编码的开发方式，通过编写数据同步的JSON脚本来完成数据同步开发，提供了更灵活的能力和更精细化的配置。如下图所示：

步骤三：管道调度配置

1. 单击开发画布菜单栏按钮，进行调度配置。

2. 在调度配置页面，配置集成管道的基本信息、调度配置、调度依赖、调度参数、运行配置。各配置说明如下：

   • 基本信息：通过集成管道基本信息，您可配置集成管道任务开发负责人、运维负责人及描述。详细说明，请参见配置离线集成管道基本信息。

   • 调度配置：用于定义集成管道任务在生产环境的调度方式。您可以通过调度属性，配置集成管道任务的调度类型、调度周期、调度逻辑与执行等。详细说明，请参见配置离线管道调度。

   • 调度依赖：用于定义集成管道任务在调度任务中的依赖节点。Dataphin通过各个节点的调度依赖的配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。详细说明，请参见配置离线管道调度依赖。

   • 运行配置：您可根据业务场景为该集成管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。详情说明，请参见离线管道任务运行配置。

3. 单击确定。

步骤四：保存并提交离线集成任务

1. 单击画布上方的图标，保存管道任务。

2. 单击画布上方的图标，在提交备注对话框，填写备注信息后，单击确定并提交。

   说明

   • 确认并提交离线集成任务后，系统将自动检查提交的离线集成任务，检查项包括配置检查、权限检查、 表重复性检查。

     • 配置检查：检查脚本配置是否完整。

     • 权限检查：包括检查数据源、表、及字段的权限；密钥使用权限；质量规则发布权限。

     • 表重复性检查：包括检查管道中的来源表是否在已提交或已发布的任务中已作为来源表，以及管道中的目标表是否在已提交或已发布的任务中已作为来目标表。

   • 若提交的集成任务中，存在以上检查项的告警或错误信息。建议您根据提示信息解决告警或错误后，在进行提交。

   • 系统在任务提交时，解析开发环境的表和字段血缘关系；发布时，解析生产环境的表和字段血缘关系。单个任务提交或发布时支持解析不超过10万条血缘关系，超过则不予记录，在资产目录中无法展示。

后续步骤

• 如果您的开发模式是Dev-Prod模式，则需要发布任务，详情请参见管理发布任务。

• 如果您的开发模式是Basic模式，则提交成功后的任务，即可参与生产环境的调度。您可前往运维中心查看您发布的任务。详情请参见运维中心概述。