通过公网访问Kafka

本文为您介绍如何配置阿里云E-MapReduce集群中的Kafka服务,包括修改相关配置以监听公网接口以及设置对应的安全组规则,从而使得客户端能够在公网环境下顺利访问该集群上的Kafka服务。

新建集群时,开通公网服务

新建Dataflow集群时,打开Core节点组挂载公网的开关,则创建出来的Dataflow集群将自动开通Kafka服务公网访问。

集群创建后,为安全组开通9093端口后,您便能通过公网IP的9093端口直接访问Kafka服务。开通安全组详情,请参见管理安全组

开通已有集群的公网服务

Dataflow集群部署在VPC网络环境,您可以通过挂载弹性公网IP或者高速通道两种方式在外网环境访问Kafka服务。

方式一:挂载弹性公网IP

  1. 进入基础信息页面。

    1. 登录E-MapReduce控制台

    2. 在顶部菜单栏处,根据实际情况选择地域和资源组

    3. 在EMR on ECS页面,单击目标集群的集群ID

  2. 基础信息页面,单击集群安全组后面的链接,为安全组开通9093端口,详情请参见管理安全组

  3. 为所有KafkaBroker组件的ECS实例挂载公网IP。

    1. 单击节点管理页签。

    2. 节点管理页面,单击节点的ID

    3. 在ECS控制台,为当前ECS实例挂载公网,详情请参见绑定EIP

    4. 重复步骤b~步骤c,为Kafka服务KafkaBroker组件的所有ECS实例挂载公网IP。

  4. 节点管理页面,选择上方的全部操作 > 同步主机信息,同步公网IP信息到Dataflow集群。

  5. 在E-MapReduce控制台的Kafka服务的配置页面,修改kafka.public-access.enable的参数值为true。

  6. 部署客户端配置。

    1. 在Kafka服务的配置页面,单击部署客户端配置

    2. 在弹出的对话框中,输入执行原因,单击确定

    3. 确认对话框中,单击确定

  7. 重启Kafka服务。

    1. 在Kafka服务的状态页面的组件列表区域,单击KafkaBroker组件操作列的重启

    2. 在弹出的对话框中,输入执行原因,单击确定

    3. 确认对话框中,单击确定

方式二:部署高速通道

部署高速通道打通内网和公网网络,详情请参见什么是高速通道

访问Kafka服务

访问一个配置了公网IP地址的Kafka Broker服务时,URL格式通常为<Broker的公网IP地址>:9093

例如:如果某个Broker的公网IP地址为211.90.**.**,则Kafka服务的访问地址是211.90.**.**:9093

相关文档

如果您需要新建集群并快速使用EMR Kafka,详情请参见快速开始使用EMR Kafka