通过公网访问Kafka

本文介绍如何在新建集群时或者为已有集群开通公网服务,使得客户端可以在公网环境访问E-MapReduce Kafka服务。

新建集群时,开通公网服务

EMR on ECS控制台创建Dataflow集群时,打开Core节点组挂载公网的开关,则创建出来的Dataflow集群将自动开通Kafka服务公网访问。为安全组开通9093端口后,您可以直接通过公网IP的9093端口访问Kafka服务。开通9093端口的详细文档,请参见方式一:通过Knox服务代理访问开源组件UI

开通已有集群的公网服务

Dataflow集群部署在VPC网络环境,您可以通过挂载弹性公网IP或者高速通道两种方式在外网环境访问Kafka服务。

方式一:挂载弹性公网IP

  1. 进入集群基础信息页面。

    1. 登录EMR on ECS控制台

    2. 在顶部菜单栏处,根据实际情况选择地域和资源组

    3. 在EMR on ECS的集群管理页面,单击目标集群的集群ID

  2. 基础信息页面,单击集群安全组后面的链接,为安全组开通9093端口,详情请参见方式一:通过Knox服务代理访问开源组件UI

  3. 为所有KafkaBroker组件的ECS实例挂载公网IP。

    1. 单击节点管理页签。

    2. 节点管理页面,单击节点的ID

    3. 在ECS控制台,为当前ECS实例挂载公网,详情请参见绑定EIP

    4. 重复步骤b~步骤c,为Kafka集群KafkaBroker组件的所有ECS实例挂载公网IP。

  4. 节点管理页面,选择上方的全部操作 > 同步主机信息,同步公网IP信息到Kafka集群。

  5. 在E-MapReduce控制台的Kafka服务的配置页面,修改kafka.public-access.enable的参数值为true。

  6. 部署客户端配置。

    1. 在Kafka服务的配置页面,单击部署客户端配置

    2. 在弹出的对话框中,输入执行原因,单击确定

    3. 确认对话框中,单击确定

  7. 重启Kafka服务。

    1. 在Kafka服务的状态页面的组件列表区域,单击KafkaBroker组件操作列的重启

    2. 在弹出的对话框中,输入执行原因,单击确定

    3. 确认对话框中,单击确定

方式二:部署高速通道

部署高速通道打通内网和公网网络,详情请参见什么是高速通道

阿里云首页 开源大数据平台E-MapReduce 相关技术圈