创建DataFlow Kafka集群

本文为您介绍创建DataFlow Kafka集群(选择了Kafka服务)的详细操作步骤和相关配置。

使用限制

EMR-5.18.0及之后版本、EMR-3.52.0及之后版本将不再支持Kafka服务。建议使用阿里云的云消息队列 Kafka 版或自行进行安装。

注意事项

创建DataFlow Kafka集群前,您需要根据业务的预估负载,选择合适的ECS实例机型以及Broker实例个数。由于业务场景差异很大,所以无法给出通用的集群规划,您需要根据您的实际环境创建集群。通常,建议您选择机型时考虑以下配置:

  • Broker机型的CPU和内存配比为1:4。

  • 选择云盘作为数据存储盘。

  • 充分考虑云盘的IO吞吐率以及网卡带宽之间的关系。

在部署参数上,考虑以下因素:

  • 由于EMR Kafka版本仍依赖于Zookeeper,且Zookeeper的可用性直接关系到Kafka服务的高可用,因此,建议您创建集群时,选择高可用的部署方式。启用高可用后,将创建3个节点的Zookeeper服务。

  • 如果Master机器组只部署Zookeeper,则Master机器组只需要配置1块数据盘即可。

更详细的评估建议,请参见集群资源规格评估建议

操作步骤

  1. 进入创建集群页面。

    1. 登录E-MapReduce控制台

    2. 可选:在顶部菜单栏处,根据实际情况选择地域和资源组。

      • 地域:创建的集群将会在对应的地域内,一旦创建不能修改。

      • 资源组:默认显示账号全部资源。

    3. 单击上方的创建集群,进行创建。

  2. 配置集群信息。

    创建集群时,您需要对集群进行软件配置、硬件配置和基础配置。

    重要

    集群创建完成后,除了集群名称以外,其他配置均无法修改,所以在创建时请仔细确认各项配置。更多参数信息,请参见创建集群

    1. 软件配置。

      配置项

      示例

      描述

      地域

      华东1(杭州)

      创建的集群将会在对应的地域内,一旦创建不能修改。

      业务场景

      实时数据流场景

      选择实时数据流场景

      产品版本

      EMR-3.43.1

      选择EMR版本后,您可以查看各服务的版本。

      例如,EMR-3.43.1版本中的Kafka为2.12_2.4.1,其中2.12表示Scala的版本,2.4.1为开源Kafka的版本。

      服务高可用

      开启

      默认不开启。

      重要

      启用高可用后,将在Master机器组上部署3个节点的Zookeeper服务。由于EMR Kafka版本的服务可用性仍依赖于Zookeeper,所以建议您创建集群时,选择高可用的部署方式。

      可选服务

      Kafka

      选择Kafka服务。

      您也可以根据您的实际需求选择其他的一些组件,被选中的组件会默认启动相关的服务进程。

      允许采集服务运行日志

      开启

      支持一键开启或关闭所有服务的日志采集。默认开启,将收集您的服务运行日志,这些日志仅供集群诊断使用。

      集群创建后,您可以在基础信息页面,修改服务运行日志收集状态

      重要

      关闭日志采集后,EMR的健康检查和技术支持将受到限制,但其他功能仍可正常使用。如何关闭及影响详情,请参见如何停止采集服务日志?

    2. 硬件配置。

      配置项

      示例

      描述

      付费类型

      按量付费

      默认包年包月。当前支持的付费类型如下:

      • 按量付费:一种后付费模式,即先使用再付费。按量付费是根据实际使用的小时数来支付费用,每小时计费一次,适合短期的测试任务或是灵活的动态任务。

      • 包年包月:一种预付费模式,即先付费再使用。

        说明

        建议测试场景下使用按量付费,测试正常后再新建一个包年包月的生产集群正式使用。

      可用区

      华东1(杭州) 可用区 I

      可用区为在同一地域下的不同物理区域,可用区之间内网互通。通常使用默认的可用区即可。

      专有网络

      emr_test/vpc-bp1f4epmkvncimpgs****

      默认选择已有的专有网络。

      如需创建新的专有网络,请在专有网络控制台新创建一个,详情请参见创建和管理专有网络

      交换机

      vsw_test/vsw-bp1e2f5fhaplp0g6p****

      选择在对应VPC下可用区的交换机,如果在这个可用区没有可用的交换机,则需要在专有网络控制台新创建一个,详情请参见创建和管理交换机

      默认安全组

      sg-bp1ddw7sm2risw****/sg-bp1ddw7sm2risw****

      默认选择已有的安全组。安全组详情请参见安全组

      您也可以单击新建安全组,在ECS控制台新建一个安全组,详情请参见创建安全组

      重要

      禁止使用ECS上创建的企业安全组。

      节点组

      根据实际情况配置

      • 实例类型:您可以根据需要或者评估建议选择实例规格。评估建议详情,请参见集群资源规格评估建议

      • 加入部署集:开启高可用后,Master默认加入部署集,详情请参见开启部署集

      • 系统盘:根据需要选择系统盘。

      • 系统盘大小:根据需要调整磁盘容量,推荐至少120 GiB。取值范围为80 ~ 500 GiB。

      • 数据盘:根据需要选择数据盘。

        说明

        建议选择云盘。

      • 数据盘大小:根据需要调整磁盘容量,推荐至少80 GiB。取值范围为40 ~ 32768 GiB。

      • 实例数量:默认3台Master,3台Core。

      • 附加安全组:您可以为该节点组关联最多2个附加安全组,附加安全组可以灵活定制不同的外部资源或应用程序之间的访问。

      • 挂载公网:集群是否挂载弹性公网IP地址,默认不开启。

        说明

        创建后如果您需要使用公网IP地址访问,请在ECS上申请开通公网IP地址,详情请参见弹性公网IP中的申请EIP的内容。

    3. 基础配置。

      基础信息区域,配置如下参数。

      重要

      暂不支持高级配置区域的参数,因此请勿设置。

      配置项

      示例

      描述

      集群名称

      Emr-Kafka

      集群的名字,长度限制为1~64个字符,仅可使用中文、字母、数字、短划线(-)和下划线(_)。

      身份凭证

      自定义密码

      密钥对(默认):使用SSH密钥对登录Linux实例。

      关于密钥对的使用详情,请参见SSH密钥对

      密码:设置Master节点的登录密码,使用密码登录Linux实例。

      密码规则:8~30个字符,且必须同时包含大写字母、小写字母、数字和特殊字符。

      特殊字符包括:感叹号(!)、at(@)、井号(#)、美元符号($)、百分号(%)、乘方(^)、and(&)和星号(*)。

  3. 确认订单页面,选中E-MapReduce服务条款复选框。

  4. 单击创建

    创建集群后可以通过刷新页面来查看进度,当集群状态显示为运行中时,表示集群创建成功。

后续步骤

集群创建成功后,您可以根据实际的业务场景,修改集群的默认参数,使集群正式交付生产时符合相关的要求。例如: