网络访问与安全设置

更新时间: 2022-09-27 17:36:36

本文介绍如何进行流数据服务Confluent集群的网络访问与安全设置。

网络访问类型

流数据服务Confluent集群提供阿里云VPC访问和公网访问方式。

  • 阿里云VPC访问

VPC访问是指您在流数据服务Confluent集群所在网络VPC内或者其它VPC访问和使用流数据服务Confluent集群。此时,除Control Center提供公网访问方式外,其它集群组件无法从公网访问。

  • 公网访问

公网访问是指您可以在公网外访问和使用流数据服务Confluent集群。此时,阿里云VPC内仍然可以访问流数据服务Confluent集群。

注意

公网流量计费:流数据服务Confluent集群公网访问使用阿里云CLB功能,由此产生的网络费用按照CLB计费规则进行收费。

网络访问设置

您在创建流数据服务Confluent集群时,选择决定是否开启公网访问方式。集群的网络访问类型在集群创建完成后无法进行修改设置。如您需要修改访问类型,需要提交工单由后台运维人员帮助解决。

流数据服务Confluent集群各类型网络域名

K8s local域名

  1. 支持在同一VPC内和集群内部访问,例如在流数据服务Confluent集群内部,connect服务访问kafka broker服务,您需要使用具体的pod实例域名。

  2. K8s local域名的pod实例域名格式为:{{service}}-{{pod number}}.{{service}}.confluent.svc.cluster.local.{{askClusterId}}:{{port}}。例如,kafka broker服务第1个pod的域名为:kafka-0.kafka.confluent.svc.cluster.local.{{askClusterId}}:9071。

  3. 您可以在集群Control Center中的“Cluster settings”配置项中查看kafka broker的K8s local域名,并从中获取askClusterId。

流数据服务Confluent各组件K8s local域名

域名详情

kafka broker K8s local访问域名

kafka.confluent.svc.cluster.local.{{askClusterId}}:9071

confluent mds K8s local访问域名

kafka.confluent.svc.cluster.local.{{askClusterId}}:8090

schema registry K8s local访问域名

schemaregistry.confluent.svc.cluster.local.{{askClusterId}}:8081

kafka rest proxy K8s local访问域名

kafkarestproxy.confluent.svc.cluster.local.{{askClusterId}}:8082

connect K8s local访问域名

connect.confluent.svc.cluster.local.{{askClusterId}}:8083

confluent ksql K8s local访问域名

ksqldb.confluent.svc.cluster.local.{{askClusterId}}:8088

VPC域名

  1. 支持在同一VPC内访问,Load Balancer域名可正常使用。

  2. VPC域名的pod实例域名格式为:{{service}}-{{cspClusterId}}-internal-{{pod number}}.csp.aliyuncs.com:{{port}}。例如,kafka broker服务的第1个pod的VPC域名为:rb-{{your cspClusterId}}-internal.csp.aliyuncs-0.com:9095,其余kafka broker服务pod的域名以此类推。

流数据服务Confluent各组件VPC域名

域名详情

kafka broker VPC访问域名

rb-{{cspClusterId}}-internal.csp.aliyuncs.com:9095

confluent mds VPC访问域名

mds-{{cspClusterId}}-internal.csp.aliyuncs.com:8090

schema registry VPC访问域名

sr-{{cspClusterId}}-internal.csp.aliyuncs.com:8081

kafka rest proxy VPC访问域名

kafkarestproxy-{{cspClusterId}}-internal.csp.aliyuncs.com:8082

connect VPC访问域名

connect-{{cspClusterId}}-internal.csp.aliyuncs.com:8083

confluent ksql VPC访问域名

ksql-{{cspClusterId}}-internal.csp.aliyuncs.com:8088

公网域名

  1. 支持在同一VPC内和跨VPC访问,Load Balancer域名均可正常使用。

流数据服务Confluent各组件公网域名

域名详情

kafka broker 公网访问域名

rb-{{cspClusterId}}.csp.aliyuncs.com:9092

confluent mds 公网访问域名

mds-{{cspClusterId}}.csp.aliyuncs.com:443

schema registry 公网访问域名

sr-{{cspClusterId}}.csp.aliyuncs.com:443

kafka rest proxy公网访问域名

kafkarestproxy-{{cspClusterId}}.csp.aliyuncs.com:443

connect 公网访问域名

connect-{{cspClusterId}}.csp.aliyuncs.com:443

confluent ksql 公网访问域名

ksql-{{cspClusterId}}.csp.aliyuncs.com:443

control center 公网访问域名

c-{{cspClusterId}}.csp.aliyuncs.com:443

网络安全设置

说明

用于外部网络访问流数据服务Confluent集群。

流数据服务Confluent集群提供数据传输加密以及访问控制功能。默认情况下,流数据服务Confluent集群网络传输使用SSL加密以确保数据不会被监听泄漏。在连接集群时,需要使用相关的证书进行连接。流数据服务Confluent集群提供如下SSL访问证书以满足不同场景下的SSL加密。

证书名称

使用说明

VPC内访问证书

VPC网络内访问kafka broker使用“VPC内访问证书”访问

阿里云签名证书

公网/跨VPC网络访问kafka broker使用“阿里云签名证书”访问

如果您选择“公网访问”流数据服务Confluent集群,当集群创建成功后会自动在您的阿里云账户下创建一系列的CLB实例。这些CLB实例开启了“删除保护”功能,不能随意删除。默认情况下,当您选择公网访问来配置集群后,所有公网IP均能访问流数据服务Confluent集群,您可以使用云防火墙设置对流数据服务Confluent集群公网域名的访问策略。

注意

当您使用云防火墙时,务必设置正确的访问策略来确保流数据服务Confluent集群的正常访问。

NAT网关配置

说明

用于流数据服务Confluent集群访问外部公网。

我们建议您为流数据服务Confluent集群所在的VPC设置SNAT,以便于流数据服务Confluent集群能够访问公网。

说明

当您开启如下服务后,流数据服务Confluent集群需要访问公网服务。

  • 启用Control Center的邮件告警功能。

  • 流数据服务Confluent集群需要访问外部系统,如Mysql、Elasticsearch等。

注意

如果流数据服务Confluent集群需要访问外部系统,需要将SNAT公网出口的EIP加入到外部集群的允许访问列表中。

阿里云首页 Confluent流处理平台 相关技术圈