本文汇总了消息队列Kafka版关于自动创建Topic的相关问题。

是否可以自动化创建Topic?

可以,但不建议。消息队列Kafka版通过阿里云控制台和OpenAPI管理Topic数据,目前不支持也不建议自动化创建Topic,主要原因如下:
  • 自动化创建Topic不能进行细粒度的权限管控、资源操作审计等,存在安全管控问题。
  • 自动化创建Topic会有资源远远超过限制、资源不能有效管控等问题,不利于线上稳定运行。
  • 自动化创建Topic不能保证100%成功,可能影响业务的正常运行。更多信息,请参见自动化创建Topic失败后怎么办?

什么场景适合开启自动化创建Topic?

首先自动化创建Topic属于非标操作,一般情况下都不建议开启。但为了支持您快速迁移上云、测试等场景,可以开启自动化创建Topic。开启后,建议仅在迁移场景或者测试场景使用。

如何开启自动化创建Topic?

注意 自动化创建Topic属于非标操作,不建议开启。如果开启,请不要在重大生产业务中使用,建议您仅在迁移场景或者测试场景使用。

请仔细阅读上述开启风险,并在知晓相关风险后,提交工单申请。

自动化创建Topic失败后怎么办?

自动化创建Topic失败后,您可以通过以下方法解决:
  • Topic数量不多时,建议您通过阿里云控制台和OpenAPI手动创建Topic。
  • 通过查看日志或者根据以下原因自助排查:
    • 非法操作:不合法操作导致Topic无法成功创建或者正常使用,影响业务正常运行。具体如下:
      • Topic名称:自动创建Topic的程序运行过程中,根据实际情况动态指定Topic,Topic名称不满足要求。例如命名非法、名称长度超过限制。
      • Topic配置:引擎选择不当,Topic配额不足、分区配额不足等。
    • 不可控因素:客观因素概率性失败,如果触发,需要很长时间才能恢复,严重影响业务。例如网络抖动、服务端升级、管控平台升级维护、ECS宕机等情况,会大幅度增加创建Topic的耗时,业务的超时是固定的,必然因为超时,导致创建失败。
    • 业务冲突:自动创建Topic,容易触发不同业务名称冲突,如果触发,不同业务数据混合,很难发现。发现之后,恢复难度过大,且容易有不可逆转的损失。
    • 延迟问题:自动创建Topic触发时,相对已有Topic,需要至少成倍的时间,会造成业务短暂中断,多数业务不能接受这个抖动。
    • 超过限额:超过分区或者Topic数量限制都会无法创建Topic。
    • 其他情况。

如果您的问题仍然无法解决,请联系消息队列Kafka版技术人员协助排查。