添加数据源时需要根据数据源所在网络环境,通过对应的网络解决方案,实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。

网络连通方案

根据数据源所在的网络环境,在下图中选择对应的网络连通解决方案。

faga
网络连通方案的操作指导说明如下表所示。
数据源所在的网络环境 网络连通操作指导
数据源具备公网访问能力
  1. 添加Dataphin的IP地址(表 2)至数据源的白名单中。

    以阿里云云数据库RDS为例,如果您在RDS配置指定了IP白名单,则需要添加Dataphin的IP地址到白名单列表中。如何添加白名单,请参见步骤二:设置IP白名单

  2. 添加数据源访问地址至Dataphin项目空间的沙箱白名单中。如何添加沙箱白名单请参见添加沙箱白名单
数据源在VPC内-VPC和Dataphin在同一地域
  1. 在Dataphin中添加数据源时,绑定数据源的VPC。
  2. 添加Dataphin的IP地址(表 1)至数据源白名单中。

    以阿里云云数据库RDS为例,如果您在RDS配置指定了IP白名单,则需要添加Dataphin的IP地址到白名单列表中。如何添加白名单,请参见步骤二:设置IP白名单

  3. 添加数据源访问地址至Dataphin项目空间的沙箱白名单中。如何添加沙箱白名单请参见添加沙箱白名单
数据源在VPC内-VPC和Dataphin不在同一地域
  1. 在Dataphin所在地域新建一个VPC网络的ECS。
  2. 使用高速通道或VPN连通两个VPC(ECS的VPC和数据源的VPC)。
  3. 在Dataphin中添加数据源时,绑定ECS的VPC。
  4. 添加Dataphin的IP地址(表 1)至ECS的安全组中。

    如何添加安全组,请参见添加安全组规则

  5. 添加数据源访问地址至Dataphin项目空间的沙箱白名单中。如何添加沙箱白名单请参见添加沙箱白名单
  6. Dataphin即可通过ECS访问数据源。
数据源在IDC内
  • (推荐)方案一操作指导:
    1. 在Dataphin所在地域新建一个VPC网络的ECS。
    2. 使用高速通道或VPN连通两个VPC(ECS的VPC和数据源的VPC)。
    3. 在Dataphin中添加数据源时,绑定ECS的VPC。
    4. 添加Dataphin的IP地址(表 1)至ECS的安全组中。

      如何添加安全组,请参见添加安全组规则

    5. 添加数据源访问地址至Dataphin项目空间的沙箱白名单中。如何添加沙箱白名单请参见添加沙箱白名单
    6. Dataphin即可通过ECS访问数据源。
  • 方案二操作指导:
    1. 在Dataphin所在地域新建一个VPC网络的ECS。
    2. 使用Nginx连通ECS和数据源。
    3. 添加数据源访问地址至Dataphin项目空间的沙箱白名单中。如何添加沙箱白名单请参见添加沙箱白名单
    4. Dataphin即可通过ECS访问数据源。
第三方云自建数据源
  • (推荐)方案一操作指导:
    1. 在Dataphin所在地域新建一个VPC网络的ECS。
    2. 使用高速通道或VPN连通两个VPC(ECS的VPC和自建数据源的VPC)。
    3. 在Dataphin中添加自建数据源时,绑定ECS的VPC。
    4. 添加Dataphin的IP地址(表 1)至ECS的安全组中。

      如何添加安全组,请参见添加安全组规则

    5. 添加数据源访问地址至Dataphin项目空间的沙箱白名单中。如何添加沙箱白名单请参见添加沙箱白名单
    6. Dataphin即可通过ECS访问自建数据源。
  • 方案二操作指导:
    1. 在Dataphin所在地域新建一个VPC网络的ECS。
    2. 使用Nginx连通ECS和自建数据源。
    3. 添加数据源访问地址至Dataphin项目空间的沙箱白名单中。如何添加沙箱白名单请参见添加沙箱白名单
    4. Dataphin即可通过ECS访问自建数据源。
在数据源通过VPC网络连通Dataphin的场景中,需要将Dataphin在VPC网络下的IP地址添加至数据源白名单中。
表 1. VPC网络下Dataphin的IP地址
地域 (推荐)通用IP地址 地域IP地址
华东2(上海) 100.104.0.0/16 100.104.228.128/26、100.104.115.192/26
华南1(深圳) 100.104.48.128/26
华北2(北京) 100.104.238.64/26
华东1(杭州) 100.104.45.0/26
在数据源通过公网连通Dataphin的场景中,需要将Dataphin在公网下的IP地址添加至数据源白名单中。
表 2. 公网下Dataphin的IP地址
地域 IP地址
华东2(上海) 47.102.151.182
华南1(深圳) 119.23.173.65
华北2(北京) 123.56.104.202
华东1(杭州) 47.96.75.100

网络连通的常见问题

数据源网络连接测试不通时,建议您从以下几个方面排查:
  • 数据源是否已正常启动。

    以MySQL数据源为例,您可以在本地PC上telnet 127.0.0.1 3306,查看数据库端口是否已开启。

  • Dataphin无法访问数据源所在网络,请确保数据源所在网络已和阿里云连通。
  • DNS无法正常解析数据源链接地址中的域名,请确认可以正常解析域名访问。
  • 数据源所在的网络防火墙禁止Dataphin访问,请添加Dataphin的IP地址(表 1表 2)至数据源的白名单列表中。

    以阿里云云数据库RDS为例,如果您在RDS配置指定了IP白名单,则需要添加Dataphin的IP地址到白名单列表中。如何添加白名单,请参见步骤二:设置IP白名单

  • 数据源的端口配置错误或对应的网络端口没有放开,请确保配置正确的数据源端口及确保对应的网络端口已放开。
  • 数据源的版本和类型错误,请确保选择正确的数据源版本和类型。
  • 数据源的链接地址参数配置错误,请确保数据源链接地址的正确性。
  • Hadoop体系的开源组件(如Hive、HDFS、HBase)为数据源时,为了规避Kerberos身份认证失败的问题,请确保上传正确的认证文件。

数据同步中网络连接异常的解决方案案例

数据同步中网络连接异常的解决方案案例