方案五:IDC数据源网络连通

本文以部署在本地IDC中的MySQL为例,为您介绍数据源如何与DataWorks进行网络连通。

适用场景

如果您的数据源满足以下条件,推荐使用本方案。

  • 数据源部署在本地IDC中。

方案说明

数据源部署在本地IDC场景下,推荐使用VPC网络(内网)连接,使用网络连通工具(高速通道)将数据源所在的本地网络与DataWorks工作空间资源组的VPC打通,实现网络互通。

网络连通示意图

幻灯片8

前提条件

计费说明

本方案使用的网络连通工具(高速通道)涉及费用,高速通道产品的相关计费请参见:高速通道计费概述

配置网络连通

步骤一:获取基本信息

数据源侧

  • 本地IDC网段

    您可以连接本地IDC服务器,获取网段地址,或联系网络管理员、IDC运行商获取网段地址。

DataWorks

  • 资源组绑定的VPC和交换机信息

    1. 前往DataWorks资源组列表页,找到目标资源组,单击右侧操作列的网络设置

    2. 在对应功能模块下查看绑定的专有网络信息和交换机网段

      例如,业务需要将部署在本地IDC中的MySQLDataWorks连通进行数据同步,则在数据调度 & 数据集成下查看对应的专有网络信息和交换机网段

      image

步骤二:网络打通

IDCVPC连通需要使用网络连通工具实现,您可以通过物理专线将本地IDC连接到阿里云,使云上专有网络VPC和本地IDC的网络互通。

说明

如果在配置网络打通过程中遇到问题,请提交工单联系对应云产品技术支持处理。

步骤三:DataWorks资源组添加路由

DataWorks访问本地IDC数据源时,还需要在DataWorks资源组中添加路由,指向数据源所在的IDC网段。

  1. 前往DataWorks资源组列表页,找到目标资源组,单击右侧操作列的网络设置

  2. 在对应功能模块下找到已绑定的VPC,单击右侧操作列的自定义路由

  3. 单击新增路由,连接方式选择为指定网段目的网段配置为数据源所在的IDC网段。

步骤四:(可选)添加白名单

如果数据源有白名单控制,需要在数据源白名单中添加资源组已绑定的交换机网段,允许资源组访问。

本文以MySQL设置IP白名单为例,指定某用户只能从资源组绑定的交换机网段访问数据库。

  1. 通过管理员登录数据库。

  2. 创建从DataWorks访问数据源时使用的账号,并配置相关权限。

    -- "dataworks_user"为用户名,您可以自定义。
    -- "StrongPassword123!"为用户密码,您可以自定义。
    CREATE USER 'dataworks_user'@'<资源组绑定的交换机网段>' IDENTIFIED BY 'StrongPassword123!';
    
    -- 授予用户从资源组绑定的交换机网段访问指定数据库(如mydatabase)。
    GRANT ALL PRIVILEGES ON mydatabase.* TO 'dataworks_user'@'<资源组绑定的交换机网段>' WITH GRANT OPTION;
  3. 执行FLUSH PRIVILEGES;命令刷新权限后退出数据库(exit)。

步骤五:(可选)本地IDC防火墙设置

不同防火墙软件配置存在差异,本文以firewalld为例配置防火墙,其他类型防火墙的配置请自行适配。

允许资源组绑定的交换机网段访问MySQL数据库:

sudo firewall-cmd --permanent --add-rich-rule='rule family="ipv4" source address="<资源组绑定的交换机网段>" port port="3306" protocol="tcp" accept'
sudo firewall-cmd --reload

验证网络连通性

  1. 登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据集成 > 数据集成,在下拉框中选择对应工作空间后单击进入数据集成

  2. 在左侧导航栏单击数据源,然后在数据源列表单击新增数据源,根据实际情况选择数据源并配置相关连接参数。

  3. 在底部资源组列表中,选择已与数据源打通网络的资源组,单击测试连通性image

    说明

    如果测试连通性结果为无法通过,可使用连通性诊断工具自助解决。如仍无法连通资源组与数据源,请提交工单处理。