kafka社区版服务实例部署文档

更新时间:2023-11-29 05:42:32

Kafka是由Apache软件基金会开发的一个开源流处理平台,由ScalaJava编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”,这使它作为企业级基础设施来处理流式数据非常有价值。

计费说明

Kafka社区版在计算巢上的费用主要涉及:

Kafka集群:

  • 所选vCPU与内存规格

  • 磁盘容量

  • 机器数量

Zookeeper集群(如需要与Kafka同步部署):

  • 所选vCPU与内存规格

  • 磁盘容量

计费方式包括:

  • 按量付费(小时)

  • 包年包月

预估费用在创建实例时可实时看到。

部署架构

Kafka社区版部署时,可自选Kafkabroker数量。根据最佳实践,broker必须奇数个,最多支持9台。同时,Kafka社区版部署时支持用户选择是否已有Zookeeper。如有,填入Zookeeper集群地址即可;如没有,可以同步拉起一个3个节点的Zookeeper集群。

RAM账号所需权限

Kafka服务需要对ECS、VPC等资源进行访问和创建操作,若您使用RAM用户创建服务实例,需要在创建服务实例前,对使用的RAM用户的账号添加相应资源的权限。添加RAM用户授权。更多信息,请参见RAM用户授权

所需权限如下表所示。

权限策略名称

备注

权限策略名称

备注

AliyunECSFullAccess

管理云服务器服务(ECS)的权限

AliyunVPCFullAccess

管理专有网络(VPC)的权限

AliyunROSFullAccess

管理资源编排服务(ROS)的权限

AliyunComputeNestUserFullAccess

管理计算巢服务(ComputeNest)的用户侧权限

AliyunCloudMonitorFullAccess

管理云监控(CloudMonitor)的权限

部署流程

部署步骤

单击部署链接,进入服务实例部署界面,根据界面提示,填写参数完成部署。

部署参数说明

配置项

示例

说明

配置项

示例

说明

服务实例名称

test

设置实例的名称。

地域

华北2(北京)

选中服务实例的地域,建议就近选中,以获取更好的网络延时。

付费类型

按量付费

选择服务实例的服务费类型。包含:按量付费和包年包月。

交换机可用区

可用区I

地域下的不同可用区。

专有网络VPC实例ID

vpc-xxx

选择专有网络的ID。

交换机实例ID

vsw-xxxx

选择交换机ID。若找不到交换机,可尝试切换地域和可用区。

kafka服务实例数量

3

kafkabroker数量,可以根据业务压力选择。

kafka服务ECS实例类型

AMD通用型g7a

实例规格,可以根据实际需求选择。

kafka系统盘空间

40

系统盘空间,可以根据实际需求选择。

kafka数据盘空间

40

数据盘空间,可以根据实际需求选择。

kafka实例密码

****

设置实例密码。长度830个字符,必须包含三项(大写字母、小写字母、数字、()`!@#$%^&*-+={}[]:;'<>,.?/中的特殊符号)。

是否已有zookeeper集群

true

根据实际情况选择。

zookeeper地址(有集群情况下)

10.x.x.0:2181

多个地址用半角逗号隔开,例如:10.x.x.0:2181,10.x.x.1:2181。

zookeeper服务ECS实例类型(无集群情况下)

AMD通用型g7a

实例规格,可以根据实际需求选择。

zookeeper系统盘空间(无集群情况下)

40

系统盘空间,可以根据实际需求选择。

zookeeper数据盘空间(无集群情况下)

40

数据盘空间,可以根据实际需求选择。

zookeeper实例密码(无集群情况下)

****

设置实例密码。长度830个字符,必须包含三项(大写字母、小写字母、数字、()`!@#$%^&*-+={}[]:;'<>,.?/中的特殊符号)。

1.png

验证结果

  1. 查看服务实例。

    服务实例创建成功后,部署时间大约需要2分钟。部署完成后,页面上可以看到对应的服务实例。2.png

  2. 通过服务实例访问Kafka。3.png

使用Kafka

请访问Kafka官网获取全部使用信息:Kafka试用文档

  • 本页导读 (1)
  • 计费说明
  • 部署架构
  • RAM账号所需权限
  • 部署流程
  • 部署步骤
  • 部署参数说明
  • 验证结果
  • 使用Kafka

点击开启售前

在线咨询服务