本文为您介绍网络连通性有关的常见问题。
Flink全托管集群如何访问公网?
- 背景说明
Flink全托管集群默认不具备访问公网的能力,但阿里云提供的NAT网关可以实现VPC网络与公网网络互通,以满足部分Flink全托管集群用户通过UDX或Datastream代码访问公网的需求。
- 解决方案
如何访问跨VPC的其他服务?
您可以通过以下几种方式,访问跨VPC的其他服务:
- 提交工单,产品名称选择VPC,要求通过高速通道或其它产品建立网络连接,但是此种方式需要付费。
- 通过将网络实例连接至云企业网实现网络互通,详情请参见入门概述。
- 使用VPN网关建立VPC到VPC的VPN连接,详情请参见建立VPC到VPC的连接。
- 退掉和Flink全托管不同VPC的其他服务后,重新购买一个与Flink全托管相同VPC的其他服务。
- 释放Flink全托管服务后,重新购买一个和其他服务相同VPC的Flink全托管服务。
- 开通Flink全托管的公网访问能力,通过公网访问其他服务。Flink全托管集群默认不具备访问公网的能力,如有需求,详情请参见Flink全托管集群如何访问公网?。
说明 因为在延迟性方面,公网不如内网,如果您对性能有要求,建议不要使用此方式。
如何设置白名单?
通常,Flink全托管上下游存储设备默认拒绝外部设备的访问。因此,您需要在目标存储设备白名单中添加Flink全托管虚拟交换机的网段。操作步骤详情如下:
如何排除网络问题?
由于阿里云实时计算Flink版部署在专有网络VPC下,在售卖阶段选择了专有网络后,您将无法再更改。如果源端或目标端任意一个与阿里云实时计算Flink版不在同一VPC下,会导致源端和目标端网络不通,数据无法读写。因此,如果您遇到数据无法读写的情况时,可以按照以下步骤排查是否为网络问题:
- 检查上游存储和Flink全托管之间网络是否连通。
Flink全托管仅支持访问相同地域、相同VPC下的存储。如果您有访问跨VPC存储资源或者通过公网访问Flink全托管的特殊需求,请查看以下文档:
- 如果您需要跨VPC访问存储资源,则可以通过5种方式解决,详情请参见如何访问跨VPC的其他服务?
- 如果您需要通过公网访问Flink全托管,则可以使用阿里云提供的NAT网关实现VPC网络和公网的连通。详情请参见Flink全托管集群如何访问公网?
- 检查上游存储中(消息队列Kafka和Elasticsearch)是否已配置了白名单。
如果您没有配置白名单,可以按照以下步骤进行:
- 在Flink管理控制台的工作空间详情中,获取Flink全托管虚拟交换机的网段。
- 在上游存储中配置Flink全托管白名单。上游存储中配置白名单的方法,请参见对应DDL文档的前提条件中的文档链接,例如Kafka源表前提条件。
- 如果还是有网络超时的报错,也可能是连接超时导致的。需要在Connector的WITH参数中调大connect.timeout参数的取值,该参数的默认值是30秒。
如何查看公网带宽情况?
在使用公网读取或写入作业,作业各项指标都正常且作业没有反压的情况下,可以通过公网带宽来排查是否是有瓶颈问题。操作步骤如下:
- 在实时计算Flink版控制台的工作空间详情中获取专有网络ID。
- 在专有网络控制台,单击目标专有网络ID。
- 在资源管理里,单击公网NAT网关数字。
- 单击公网NAT网关实例ID。
- 在绑定的弹性公网页签,单击实例名称。
- 查看公网带宽信息。