文档

网络连通方案

更新时间:

为了保证DataWorks中数据同步、数据调度等任务的顺利操作,还需要确保资源组绑定的VPC网络与数据源(目标网络环境下的数据库、数据服务或其他数据)之间的连通性,本文为您提供了不同网络环境下的网络连通解决方案。

背景信息

在DataWorks数据同步、数据开发、数据调度等任务中,如果涉及访问的数据源不在当前DataWorks资源组绑定的VPC中(例如数据源在其他VPC或IDC中),需要根据不同网络情况,请选择合适的网络连通方案,使DataWorks资源组绑定的VPC与数据源所在网络连通。

例如,在数据同步流程中,需要资源组绑定的VPC网络与数据来源端、数据去向端进行网络连通。

image

注意事项

  • 资源组与数据源可连通是后续任务运行成功的必要条件之一。

  • 暂不支持资源组与经典网络环境进行数据交互,建议您将经典网络环境下的数据源或业务迁移至专有网络VPC环境。

  • 无法保障公网环境下各任务的速度和稳定性,建议通过内网或者云企业网同步。

前提条件

已购买合适规格的资源组,购买详情请参见:新增和使用资源组

说明
  • 资源组的更多介绍,请参见DataWorks资源组概述

  • 本文提供的网络连通方案仅适用于新版资源组、旧版资源组中的独享数据集成资源组、独享调度资源组和独享数据服务资源组。

  • 为了加强DataWorks功能间的资源管理和统一用户体验,DataWorks推出新版资源组(通用型资源组),涵盖了旧版资源组(原独享调度资源组、独享数据集成资源组、独享数据服务资源组)的核心功能,通过一个资源组即可完成数据同步、任务调度运行、调用及管理API服务等操作。推荐购买新版资源组(通用型资源组),更多信息,请参见新增和使用新版资源组

配置网络连通

步骤一:网络绑定

网络连通方案选择取决于数据源与DataWorks工作空间资源组之间的环境关系,包括以下场景:

网络选择

数据源所在环境

数据源与DataWorks工作空间关系

网络连通通用逻辑

配置示例

VPC(内网)

在阿里云

  • 位于阿里云ECS中

  • 是阿里云云产品

同阿里云主账号、同地域

资源组绑定数据源所在VPC即可。

场景一:数据库与DataWorks工作空间同阿里云主账号、同地域

  • 不在同一个同阿里云主账号下

  • 不在同一个地域下

  1. 先通过网络连通工具(云企业网CEN高速通道VPN网关)连通数据源所在地域与DataWorks工作空间所在地域的网络环境,或数据源所在账号与DataWorks空间所在账号的网络连通。

  2. 为资源组绑定当前阿里云主账号下已经与数据源连通的专有网络。

    说明

    如果在为资源组绑定VPC时,选择的安全组为企业安全组,您需要在绑定专有网络后,前往安全组管理页面,为该企业安全组新增安全策略,具体如下:

    • 出方向:增加资源组需要访问的数据源的IP。

    • 入方向:增加资源组绑定的交换机网段。

  3. 为资源组添加一条自定义路由并指向数据源的IP地址。详情可参见通用参考:添加路由

不在阿里云

  • IDC数据源或业务

  • 非阿里云的云产品

场景四:数据库在IDC

公网

在公网

  • 新版资源组不具备公网访问能力,需要为绑定的VPC配置公网NAT网关并绑定EIP后,才支持公网访问数据源。

  • 旧版资源组有公网访问能力,可直接连通。

场景五:数据源在公网

步骤二:添加白名单

无论上述哪种场景,如果数据源存在白名单访问控制,您都需要将资源组绑定的交换机网段旧版资源组本身EIP新版资源组绑定VPC配置的EIP添加至其白名单中。

  • 通过内网访问,请添加资源组绑定的交换机网段IP至数据源的白名单列表。

    DataWorks控制台资源组列表页面独享资源组页签下,单击目标资源组后的网络设置,查看交换机网段并将其添加至数据源的白名单列表中。

  • 通过公网访问:

    • 新版资源组:请添加新版资源组绑定VPC配置的EIP至数据源的白名单列表中。

      公网NAT网关控制台,找到配置好的SNAT条目,获取对应交换机绑定的公网IP地址。

      image

    • 旧版资源组:请添加资源组本身的EIP至数据源的白名单列表中。

      DataWorks控制台资源组列表页面的独享资源组页签下,单击目标资源组后的查看信息,获取对话框中的EIP地址

      说明

      如果您之后对资源组进行了扩容操作,请检查此处待添加的EIP是否有变动,为了避免任务执行出错,请在扩容后第一时间更新数据源添加的白名单。

步骤三:测试连通性

  • 如果资源组需要访问的数据源为DataWorks支持的数据源,您可以通过添加DataWorks数据源的方式来测试是否可以连通。

    1. 进入数据集成页面。

      登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据集成,在下拉框中选择对应工作空间后单击进入数据集成

    2. 在左侧导航栏单击数据源,然后在数据源列表单击新增数据源,根据实际情况选择数据源并配置相关连接参数。

    3. 在底部资源组列表中,选择购买的资源组,单击测试连通性image

      说明

      如果测试连通性结果为无法通过,可使用连通性诊断工具自助解决。

  • 如果资源组需要访问的数据源为其他网络中部署的服务等,请根据实际情况,在业务代码中测试与数据源的连通性。

    说明

    如果您的业务部署在阿里云ECS中,还需要配置安全组,允许资源组的交换机网段或VPC绑定的公网IP访问。

各场景网络连通配置示例

下文以使用阿里云RDS数据库和具备公网的自建数据库为例,介绍如何通过网络配置,实现DataWorks资源组与各环境下的数据源网络连通。

说明

以下示例仅为资源组绑定普通安全组场景下的说明。

场景一:数据源与DataWorks工作空间同阿里云主账号、同地域

网络连通配置操作

配置操作图示

  1. 网络绑定:资源组绑定数据源所在VPC。

  2. 数据源白名单配置:将资源组绑定的交换机网段IP添加到数据源白名单中。

同账号同地域

场景二:数据源与DataWorks工作空间同阿里云主账号、不同的地域

网络连通配置操作

配置操作图示

  1. 配置两个地域间的网络连通。

    使用云企业网CENVPN网关连通两个地域的VPC。

  2. 配置数据源和资源组的网络连通。

    1. 为资源组绑定当前账号下,已与数据库网络连通的VPC。

    2. 在控制台添加路由,连接至指向目标数据源IP地址段,详情可参见通用参考:添加路由

  3. 数据源白名单配置:将资源组绑定的交换机网段IP添加到数据源白名单中。

同账号不同地域

场景三:数据库与DataWorks工作空间使用不同阿里云主账号

网络连通配置操作

配置操作图示

  1. 配置两个阿里云主账号间的网络连通。

    使用云企业网CENVPN网关连通两个阿里云主账号的VPC。

  2. 配置数据源和资源组的网络连通。

    1. 为资源组绑定当前账号下已与数据源网络连通的VPC。

    2. 在控制台添加路由,连接至目标数据源IP地址段,详情可参见通用参考:添加路由

  3. 数据源白名单配置:将资源组绑定的交换机网段IP添加到数据源白名单中。

不同账号

场景四:数据源在IDC

数据源不在阿里云环境可参考该场景配置。

  1. 配置两个环境的网络连通。

    使用高速通道连通IDC与阿里云专有网络。

  2. 配置数据源和资源组的网络连通。

    1. 为资源组绑定当前账号下已与数据库网络连通的VPC。

    2. 在控制台添加路由,连接至目标数据源IP地址段,详情可参见通用参考:添加路由

  3. 数据源白名单配置:将资源组绑定的交换机网段IP添加到数据源白名单中。

场景五:数据源在公网

说明

该方案仅适用于新版资源组,旧版资源组已默认绑定EIP。

网络连通配置操作

配置操作图示

  1. 为资源组绑定的专有网络VPC和交换机配置公网NAT网关。具体操作,请参见使用公网NAT网关SNAT功能访问互联网

  2. 在数据源侧配置白名单,允许VPC和交换机绑定的公网IP访问数据库。

  3. 在工作空间新增数据源,填写数据源的公网连接地址等信息。测试网络连通性。

幻灯片5

相关文档

  • 本页导读 (1)