消息队列Kafka版对某些具体指标进行了约束和规范,您在使用消息队列Kafka版时注意不要超过相应的限制值,以免程序出现异常。具体的限制项和限制值请参见下表。

限制项 限制值 说明
Topic和Consumer Group自动创建 默认不支持。由于Spark比较特殊,您无法指定Consumer Group。消息队列Kafka版支持前缀为spark-kafkaspark-executor的Consumer Group自动创建。 Topic和Consumer Group自动创建,使用起来方便,运维起来却极其麻烦,且极易造成系统不稳定。消息队列Kafka版的Topic和Consumer Group,还涉及一系列鉴权问题。消息队列Kafka版因而不开放自动创建,但支持通过控制台、API、自动化编排工具创建Topic和Consumer Group。
限制Topic总数(分区总数) 支持 消息队列Kafka版的存储和协调机制是以分区为粒度的,Topic总数(分区总数)太多,会导致存储碎片化,集群性能和稳定性下降。
Topic减分区 不支持 这是Apache Kafka自身设计所限制的。
暴露ZooKeeper 不支持 在使用设计层面,Apache Kafka自0.9.0之后已经屏蔽掉ZK,即客户端使用无需访问ZooKeeper。消息队列Kafka版的ZooKeeper是部分共享的,出于安全考虑,不予暴露。您也无需感知到ZooKeeper。
Topic粒度的鉴权功能 不支持 Topic粒度的鉴权功能依赖ZooKeeper。消息队列Kafka版部署在专有网络VPC内,安全组白名单等手段已经足够。
登录部署消息队列Kafka版的机器 不支持
版本
  • 标准版实例

    仅支持0.10.x,默认部署0.10.x。

  • 专业版实例

    支持0.10.x~2.x,默认部署0.10.x。

  • 2.x向前兼容0.10.x、0.9.0。
  • 0.10.x向前兼容0.9.0。
  • 如需将0.10.x的标准版实例升级到2.x,您需要先将实例规格升级为专业版,然后再升级实例开源版本为2.x,详情请参见升级实例配置升级实例版本
  • 如需将0.10.x的专业版实例升级到2.x,请参见升级实例版本
Consumer Group规格 Topic规格×2 例如,某个实例的Topic规格为50个,则该实例下最多能创建100个Consumer Group。如需升级Consumer Group规格,您可升级Topic规格,每增加1个Topic配额,对应增加2个Consumer Group配额,详情请参见升级实例配置
Topic数量和分区数量的对应关系 1:16 在默认分区数的基础上,每增购1个Topic,对应增加16个分区。例如,您购买了Topic数量为50、流量峰值为20 MB/s、默认分区数为400的实例,那么当您增购10个Topic后,该实例对应增加160个分区,分区数上升为560。
专业版实例Topic数 购买Topic数×2 例如,您购买了Topic数量为50的专业版实例,那么该实例实际可用的Topic数为100。
变更实例的地域或网络属性 不支持 实例购买部署之后,其地域和网络属性与物理资源紧密结合,无法变更。如需变更实例的地域或网络属性,请释放实例,并重新购买。
消息大小 10 MB 消息大小不得超过10 MB,否则消息会发送失败。