添加数据源时需要根据数据源所在网络环境,通过对应的网络解决方案,实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。

网络连通方案

根据数据源所在的网络环境,在下图中选择对应的网络连通解决方案。gagaga
网络连通方案的操作指导说明如下表所示。
数据源所在的网络环境 网络连通操作指导
数据源具备公网访问能力
  1. 添加Dataphin的IP地址(表 2)至数据源的白名单中。

    以阿里云云数据库RDS为例,如果您在RDS配置指定了IP白名单,则需要添加Dataphin的IP地址到白名单列表中。如何添加白名单,请参见步骤二:设置IP白名单

  2. 添加数据源访问地址至Dataphin项目空间的沙箱白名单中。如何添加沙箱白名单请参见添加沙箱白名单
数据源在VPC内-VPC和Dataphin在同一地域
  1. 在Dataphin中添加数据源时,绑定数据源的VPC。
  2. 添加Dataphin的IP地址(表 1)至数据源白名单中。

    以阿里云云数据库RDS为例,如果您在RDS配置指定了IP白名单,则需要添加Dataphin的IP地址到白名单列表中。如何添加白名单,请参见步骤二:设置IP白名单

  3. 添加数据源访问地址至Dataphin项目空间的沙箱白名单中。如何添加沙箱白名单请参见添加沙箱白名单
数据源在VPC内-VPC和Dataphin不在同一地域
  1. 在Dataphin所在地域新建一个VPC网络的ECS。
  2. 使用高速通道或VPN连通两个VPC(ECS的VPC和数据源的VPC)。
  3. 在Dataphin中添加数据源时,绑定ECS的VPC。
  4. 添加Dataphin的IP地址(表 1)至ECS的安全组中。

    如何添加安全组,请参见添加安全组规则

  5. 添加数据源访问地址至Dataphin项目空间的沙箱白名单中。如何添加沙箱白名单请参见添加沙箱白名单
  6. Dataphin即可通过ECS访问数据源。
数据源在IDC内
  1. 在Dataphin所在地域新建一个VPC网络的ECS。
  2. 使用高速通道或VPN连通ECS的VPC和数据源的网络。
  3. 添加Dataphin的IP地址(表 1)至ECS的安全组中。

    如何添加安全组,请参见添加安全组规则

  4. 在ECS上配置Nginx反向代理。
  5. 添加数据源访问地址至Dataphin项目空间的沙箱白名单中。如何添加沙箱白名单请参见添加沙箱白名单
  6. 在Dataphin中添加数据源时,绑定ECS的VPC。
  7. Dataphin即可通过ECS访问数据源。
第三方云自建数据源
在数据源通过VPC网络连通Dataphin的场景中,需要将Dataphin在VPC网络下的IP地址添加至数据源白名单中。
表 1. VPC网络下Dataphin的IP地址
地域 (推荐)通用IP地址 地域IP地址
华东2(上海) 100.104.0.0/16 100.104.228.128/26、100.104.115.192/26
华南1(深圳) 100.104.48.128/26
华北2(北京) 100.104.238.64/26
华东1(杭州) 100.104.45.0/26
在数据源通过公网连通Dataphin的场景中,需要将Dataphin在公网下的IP地址添加至数据源白名单中。
表 2. 公网下Dataphin的IP地址
地域 IP地址
华东2(上海) 47.102.151.182
华南1(深圳) 119.23.173.65
华北2(北京) 123.56.104.202
华东1(杭州) 47.96.75.100

网络连通的常见问题

数据源网络连接测试不通时,建议您从以下几个方面排查:
  • 数据源是否已正常启动。

    以MySQL数据源为例,您可以在本地PC上telnet 127.0.0.1 3306,查看数据库端口是否已开启。

  • Dataphin无法访问数据源所在网络,请确保数据源所在网络已和阿里云连通。
  • DNS无法正常解析数据源链接地址中的域名,请确认可以正常解析域名访问。
  • 数据源所在的网络防火墙禁止Dataphin访问,请添加Dataphin的IP地址(表 1表 2)至数据源的白名单列表中。

    以阿里云云数据库RDS为例,如果您在RDS配置指定了IP白名单,则需要添加Dataphin的IP地址到白名单列表中。如何添加白名单,请参见步骤二:设置IP白名单

  • 数据源的端口配置错误或对应的网络端口没有放开,请确保配置正确的数据源端口及确保对应的网络端口已放开。
  • 数据源的版本和类型错误,请确保选择正确的数据源版本和类型。
  • 数据源的链接地址参数配置错误,请确保数据源链接地址的正确性。
  • Hadoop体系的开源组件(如Hive、HDFS、HBase)为数据源时,为了规避Kerberos身份认证失败的问题,请确保上传正确的认证文件。

数据同步中网络连接异常的解决方案案例

数据同步中网络连接异常的解决方案案例