在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中时，可选用的网络连通方案。

背景信息

数据同步如上图所示，进行数据同步前，需通过合适的网络连通方案将数据库和资源组间的网络打通。本文重点关注通过独享数据集成资源组访问数据库的场景。
说明 如果数据库存在白名单限制，您还需要将独享数据集成资源组的EIP添加至数据库白名单。获取EIP详情请参见：添加白名单。

购买合适规格的资源组

购买并选择合适规格的独享数据集成资源组，购买详情请参见：新增和使用独享数据集成资源组。
说明
  • 不同规格的资源组支持同步的任务数或并发线程数存在上限，您需要根据业务需要选择合适规格的资源组。
  • 离线和实时同步任务推荐使用不同的资源组，以便任务分开执行。如果选择同一个资源组，任务混跑会带来资源抢占、运行态互相影响等问题。例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。

配置网络连通

网络连通方案选择取决于数据库与DataWorks工作空间（独享资源组，即同步机器）间的环境关系，包括以下场景：

网络连通方案
同步网络选择 数据源所在环境 数据源与DataWorks工作空间关系 网络连通通用逻辑 配置示例
通过VPC（内网）同步 数据库在阿里云
  • ECS自建数据库
  • 阿里云数据库云产品
 同阿里云主账号、同地域VPC 独享数据集成资源组绑定数据源所在VPC即可。 场景一：数据库与DataWorks工作空间同阿里云主账号、同地域
不在同一个同阿里云主账号下或不在同一个地域下VPC跨地域
  1. 先通过网络连通工具（云企业网CEN、高速通道、VPN网关）连通数据库所在地域与DataWorks工作空间所在地域的网络环境。
  2. 为独享数据集成资源组绑定当前阿里云主账号下已经与数据库网络连通的专有网络。
    说明 如果在为独享资源组绑定VPC时，选择的安全组为企业安全组，您需要在绑定专有网络后，前往安全组管理页面，为该企业安全组新增安全策略，具体如下：
    • 出方向：增加独享资源组需要访问的目标数据源IP。
    • 入方向：增加独享资源组绑定的交换机网段。
    详情请参见：使用独享数据集成资源组执行任务需要在数据库添加的IP白名单。
  3. 为独享数据集成资源组添加一条自定义路由并指向目标数据库IP地址。详情可参见添加路由。
数据库不在阿里云
  • IDC数据库
  • 非阿里云的云数据库
 数据库不在阿里云 场景四：数据库在IDC
通过公网访问数据库 - 公网 独享数据集成资源组有公网访问能力，可直接连通。 -
说明
  • 无论上述哪种场景，如果数据库存在白名单访问控制，您都需要将资源组绑定的交换机网段或独享资源组本身EIP添加至数据库白名单中。获取数据库需要添加的白名单详情请参见：添加白名单。
  • 独享数据集成资源组暂不支持经典网络环境下的数据库同步，建议您将经典网络环境下的数据库迁移至VPC环境。
  • 无法保障公网环境下的数据同步速度，建议通过内网同步。

各场景网络连通配置示例

下文以使用阿里云RDS数据库为例，网络连通配置如下。获取RDS的专有网络信息，详情请参见切换专有网络VPC和虚拟交换机。
说明 以下示例仅为独享资源组绑定普通安全组场景下的说明。
  • 通过VPC（内网）访问数据库

    场景一：数据库与DataWorks工作空间同阿里云主账号、同地域

    网络连通配置操作 配置操作图示
    1. 网络绑定：独享数据集成资源组可绑定数据源所在VPC。
    2. 数据库白名单配置：将独享资源组绑定的交换机网段IP添加到数据库白名单中。
    		 同账号同地域

    场景二：数据库与DataWorks工作空间同阿里云主账号、不同的地域

    网络连通配置操作 配置操作图示
    1. 配置两个地域间的网络连通。

      使用云企业网CEN或VPN网关连通两个地域的VPC。

    2. 配置数据源和资源组的网络连通。
      1. 为独享数据集成资源组绑定当前账号下，已与数据库网络连通的VPC。
      2. 在控制台添加路由，连接至目标VPC，详情可参见添加路由。
    		同账号不同地域

    场景三：数据库与DataWorks工作空间使用不同阿里云主账号

    网络连通配置操作 配置操作图示
    1. 配置两个阿里云主账号间的网络连通。

      使用云企业网CEN或VPN网关连通两个阿里云主账号的VPC。

    2. 配置数据源和资源组的网络连通。
      1. 为独享数据集成资源组绑定当前账号下已与数据库网络连通的VPC。
      2. 在控制台添加路由，连接至目标VPC，详情可参见添加路由。
    		不同账号
  • 数据库不在阿里云

    场景四：数据库在IDC

    1. 配置两个环境的网络连通。

      使用高速通道连通IDC与阿里云专有网络。

    2. 配置数据源和资源组的网络连通。
      1. 为独享数据集成资源组绑定当前账号下已与数据库网络连通的VPC。
      2. 在控制台添加路由，连接至目标VPC，详情可参见添加路由。

后续步骤

  1. 网络连通配置。
    1. 完成网络连通配置后，您可根据数据库是否开启白名单设置，如果开启了白名单，则您需要将资源组相应的IP地址段添加至数据库的白名单中，避免资源组无法正常读写数据库的数据，详情可参见添加白名单。
    2. 如果您的数据库是ECS自建数据库，您还需安全组配置，详情可参见附录：ECS自建数据库的安全组配置。
  2. 数据同步任务配置，操作详情请参见以下文档。