Kafka元数据管理适用于EMR-3.17.0以上版本,对于新创建的Kafka集群,后台会自动创建Kafka元数据。本节介绍Kafka元数据的一些基本操作。

进入Kafka数据管理页面

  1. 登录阿里云E-MapReduce控制台
  2. 在顶部菜单栏处,选择地域(Region)。
  3. 单击上方的元数据管理页签。
  4. 单击左侧导航栏的Kafka数据管理

添加Topic

  1. 进入Kafka数据管理页面
  2. Kafka数据管理页面,单击右上角的添加Topic
  3. 基本配置区域,填写参数以及选择关联的集群。
  4. 可选:高级配置区域,可单击右上角添加,输入Key和Value来增加配置项。
  5. 单击确定
    可单击任务列表查看执行结果,等待状态成功时,表示操作成功;当状态失败时,可单击操作列的查看详情,排查失败的原因。

删除Topic

注意
  • 内置的Topic(__consumer_offsets_schemas)不支持删除。
  • 已经释放的集群不支持删除。
  1. 进入Kafka数据管理页面
  2. Kafka数据管理页面,单击对应Topic后的删除
  3. 单击确定
    可单击任务列表查看执行结果,等待状态成功时,表示操作成功;当状态失败时,可单击操作列的查看详情,排查失败的原因。

更新配置

注意
  • 内置的Topic(__consumer_offsets_schemas)不支持更新。
  • 已经释放的集群不支持更新。
  1. 进入Kafka数据管理页面
  2. Kafka数据管理页面,单击对应Topic后的更新配置
  3. 修改相应的配置信息。
  4. 单击确定
    可单击任务列表查看执行结果,等待状态成功时,表示操作成功;当状态失败时,可单击操作列的查看详情,排查失败的原因。

服务监控

  1. 进入Kafka数据管理页面
  2. Kafka数据管理页面,单击对应Topic后的监控
    跳转到kafka的服务监控页面,详情请参见Kafka监控

服务运维

  1. 进入Kafka数据管理页面
  2. Kafka数据管理页面,单击对应Topic后的运维
    跳转到kafka的集群服务页面,可对其组件进行相关的操作。

查看Topic详情

  1. 进入Kafka数据管理页面
  2. Kafka数据管理页面,单击对应Topic后的详情
    可查看该Topic的监控数据、摘要信息、数据分布和消费组。

查看统计分析

  1. 进入Kafka数据管理页面
  2. Kafka数据管理页面,单击统计分析页签。
  3. 在上方选择集群ID,单击搜索
    统计分析区域展示当前集群下所有Topic的信息。统计分析

批量调整分区

  1. 进入Kafka数据管理页面
  2. Kafka数据管理页面,单击批量调整分区
  3. 批量调整分区对话框中,单击选择Topic
  4. 选择Topic对话框中,从集群 ID中选择待调整分区所属的集群。
  5. 选中待调整的分区,单击确定
  6. 设置调整后的分区数。
  7. 单击确定
    可单击任务列表查看执行结果,等待状态成功时,表示操作成功;当状态失败时,可单击操作列的查看详情,排查失败的原因。