对于新创建的Kafka集群,后台会自动创建Kafka元数据。

前提条件

  • Kafka元数据管理适用于E-MapReduce-3.17.0以上版本。
  • 已创建Kafka集群。
说明 由于后台回调限制,Topic列表与Topic信息的更新有一定延迟。

进入Kafka数据管理

  1. 登录阿里云E-MapReduce 控制台
  2. 单击上方的元数据管理
  3. 单击左侧导航栏的Kafka数据管理

添加Topic

  1. Kafka数据管理页面,单击右上角添加Topic
  2. 指定Topic名,分区数等必填信息,以及对应的集群,在高级配置中可单击右上角+号增加配置项。
  3. 创建完成后打开任务列表查看执行结果。

删除Topic

您可以根据Kafka集群(只显示活跃的集群)和Topic名字筛选Topic。对于已经释放的集群,Topic列表只展示最后一次更新的详情。可以对活跃的Topic执行删除更新配置,请在任务列表中查看执行结果。
注意 内置的Topic(如 __consumer_offsets)不支持删除与更新。

查看Topic详情

Kafka数据管理首页,单击对应Topic后的详情可查看该Topic的摘要信息,数据分布和消费组。

  • 数据分布: 根据分区数显示各个分区的状态。
  • 消费组: 当前Topic关联的所有消费组的概况,单击名称可查看消费组对各分区的offset与lag。

修改Topic分区数与配置

批量调整分区

  1. Kafka数据管理首页,单击右上角批量调整分区
  2. 在弹出的操作框中,单击选择Topic,在一个集群下选择一到多个 Topic,单击确定
  3. 分别指定调整后的分区数,单击确定
  4. 任务列表查看执行结果,如果操作成功,稍后控制台上的 Topic 详情将发生变化。