离线同步任务_大数据开发治理平台 DataWorks(DataWorks)-阿里云帮助中心

DataWorks的离线同步节点提供读取（Reader）和写入（Writer）插件，简化了从源数据库到目标数据库的数据迁移过程。您可以在可视化界面配置数据源与目标源，结合DataWorks的调度能力，实现全量或增量数据同步。本文将以MaxCompute作为源数据库，Hologres作为目标数据库，为您介绍如何使用离线同步节点完成数据同步。

前提条件

（可选，RAM账号需要）进行任务开发的RAM账号已被添加至对应工作空间中，并具有开发或空间管理员（权限较大，谨慎添加）角色权限，添加成员的操作详情请参见为工作空间添加空间成员。
说明
如果您使用的是主账号，则可忽略该添加操作。
已在DataWorks配置MaxCompute数据源、Hologres数据源并通过连通性测试，详情请参见创建并管理数据源。
说明
离线同步节点支持多种数据源，详情请参见支持的数据源列表。

使用限制

DataWorks的离线同步暂不支持跨时区同步数据。如果数据同步任务中的数据源与使用的DataWorks资源组不在同一个时区，则会导致同步的数据有误。

1. 新建离线同步节点

已创建离线同步节点，详情请参见创建周期任务。

2. 配置网络与资源

在离线同步节点编辑页面，依次完成数据来源类型、来源数据源名称、资源组配置、数据去向类型、去向数据源名称的信息配置，并保证数据来源：可连通。

3. 配置同步任务

在配置离线任务向导页面，您可根据以下不同方式来配置离线同步任务。

通常推荐使用直观简便的向导模式进行配置。如果数据源不支持通过向导模式来配置任务，您可以选择使用页面上方的脚本模式手动编辑和配置离线同步任务。

重要

如果将向导模式切换为脚本模式，将无法重新切换回向导模式，只能重新创建离线同步节点。

向导模式

数据来源与去向配置

在配置数据来源与去向对话框中，您可以根据实际需求设置以下参数：

参数	数据来源	数据去向
Tunnel资源组	通常是系统提供的一个默认资源组`公共传输资源`，您也可以单击新购买来获取并使用更多资源。	无
schema/Schema	默认`default`。您可选择已创建的schema信息。	默认`public`。您可选择已创建的Schema信息。
表	您所创建的数据来源表。	您所创建的数据去向表。
过滤方式	存在两种过滤方式：分区过滤是通过指定数据存储的特定分区来筛选数据，通常用于数据开发中按时间或其他维度划分的数据。数据过滤是根据具体的条件（如SQL查询中的WHERE子句）来筛选出符合条件的数据记录。	无
分区过滤	过滤方式为分区过滤时，您可通过指定数据存储的特定分区来筛选数据。	无
数据过滤	过滤方式为数据过滤时，您可在此处配置where条件对数据进行过滤处理。	无
分区信息	过滤方式为分区过滤时，您可以配置相应的参数。系统会自动扫描并显示您创建的源表中的分区信息。如果需要设置多个分区过滤条件，您可以在分区信息配置中添加分区，并为每个分区配置具体的过滤条件。重要调试运行时，需在调试配置中指定变量值。实际运行时，系统将动态替换成真实值。	如果去向表为分区表时，系统会自动扫描出分区信息，您可在此设置分区数据写入条件。如果去向表不是分区表，则默认情况下无分区信息。
分区不存在时	过滤方式为分区过滤时，您可以配置相应的参数。当所在分区不存在时，您可设定任务执行出错或者忽略不存在分区，任务正常执行。	无
写入冲突策略	无	写入冲突策略分为三种：更新（Replace）：目标表中存在与源数据相同的主键或唯一键记录，则替换这些记录；如果不存在，则插入新的记录。忽略（Ignore）：如果目标表中存在与源数据相同的主键或唯一键记录，则忽略这些源数据，不进行任何操作。更新（Update）：目标表中存在与源数据相同的主键或唯一键记录，则更新这些记录；
同步前是否要清空Hologres表	无	您可根据业务需求选择清空目标表或不清空目标表。
最大连接数	无	JDBC使用的最大连接数。最大连接数仅在写入模式为SQL（INSERT INTO）时生效。在开启任务时请确保Hologres实例有充足的空闲连接。说明一个任务最多使用9个连接。

配置字段映射

您可以在字段映射编辑页面单击增加一行来添加新的映射关系。同时，您也可以在连接线位置对现有的映射关系进行删除或修改。

配置通道控制

您可根据业务实际情况，在通道控制对话框设置通道的控制参数。

说明

任务期望最大并发数大于等于8个才能开启分布式处理能力。

脚本模式

您可参见以下示例脚本信息，配置离线同步节点任务。

说明

数据源列表的脚本模式详细说明，请参见数据源列表。

{
    "transform": false,
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "odps",//来源数据类型
            "parameter": {
                "schema": "default",
                "partition": [
                    "year=${bizdate},month="
                ],
                "datasource": "来源数据源",
                "envType": 1,
                "successOnNoPartition": false,
                "tunnelQuota": "default",
                "isSupportThreeModel": true,
                "column": [
                    "字段1",
                    "字段2",
                    "字段3",
                    "字段4",
                    "字段..."
                ],
                "tableComment": "",
                "enableWhere": false,
                "table": "来源表"
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "holo",//去向数据类型
            "parameter": {
                "selectedDatabase": "public",
                "maxConnectionCount": 9,
                "partition": "order_month=${bizdate}",
                "truncate": "false",
                "datasource": "去向数据源",
                "conflictMode": "ignore",
                "envType": 1,
                "column": [
                    "字段1",
                    "字段2",
                    "字段3",
                    "字段4",
                    "字段..."
                ],
                "tableComment": "",
                "table": "目标表"
            },
            "name": "Writer",
            "category": "writer"
        },
        {
            "name": "Processor",
            "stepType": null,
            "category": "processor",
            "copies": 1,
            "parameter": {
                "nodes": [],
                "edges": [],
                "groups": [],
                "version": "2.0"
            }
        }
    ],
    "setting": {
        "executeMode": null,
        "failoverEnable": null,
        "errorLimit": {
            "record": "0"
        },
        "speed": {
            "concurrent": 2,
            "throttle": false
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

4. 配置调试参数

在离线同步任务配置页面右侧单击调试配置，配置以下参数，在调试运行中使用调试配置的相关参数测试运行。

配置项	配置说明
资源组	选择配置网络与资源时的Serverless资源组。
脚本参数	如果您的离线同步任务中配置了参数，则需在调试配置中为参数手动赋值，确保在集成任务在调试运行时顺利拿到参数。说明当您同步分区表并默认选中分区过滤时，并设置了分区参数为${bizdate}，调试运行需配置bizdate为源表中存在的分区。

后续操作

如需定期执行离线同步任务，请根据业务需求配置调度信息，详情请参见节点调度。
离线同步任务配置完成后，需对离线同步任务进行发布，详情请参见节点/工作流发布。
离线同步任务发布后，您可以在运维中心查看周期任务的运行情况。详情请参见运维中心入门。