本文介绍Kafka自定义连接器提供的可观测性能力及错误排查步骤。

可观测性

Kafka自定义连接器提供了多方面的可观测性能力,包括Kafka实例监控、Worker资源监控以及Connector监控大盘。

  1. 登录云消息队列 Kafka 版控制台,在概览页面的资源分布区域,选择地域。
  2. 在左侧导航栏,选择Connector生态集成 > 消息流入(Source)或者Connector生态集成 > 消息流出(Sink)
  3. 消息流入(Source)或者消息流出(Sink)页面,找到目标Kafka自定义连接器任务,在其右侧操作列单击详情
  4. 在左侧导航栏,单击指标监控
    • 单击Kafka实例监控页签,查看Kafka实例级别的消息生产以及消费情况的可观测能力。Kafka实例监控
    • 单击Worker资源监控页签,查看SAE应用级别以及实例级别的资源消耗情况。SAE承载着Kafka Connect Worker的运行,其资源消耗情况直接反映了此Connector的资源使用情况。Worker资源监控
    • 单击Connector监控页签,查看Kafka Connect Tasks的运行状态。该指标由Kafka Connect框架层提供,当Tasks运行失败时,会展示详细的错误信息,可协助进行错误定位。Connector监控

错误定位

当Kafka Connectors运行失败时,您可以通过如下步骤逐步排查错误。

  1. 在事件流详情页面,单击左侧导航栏的概览
  2. 基础信息区域,单击运行异常,查看错误类型及详细错误信息。
    运行异常

    如果从错误信息中发现是Kafka Connect Task运行失败了,此时可以单击诊断链接跳转到Connector监控页面,查看Task运行失败的详细错误信息。

  3. 若上述步骤无法定位错误,您可以登录至SAE控制台进一步调试。
    1. 在事件流详情页面,单击左侧导航栏的概览
    2. Worker信息区域,单击SAE应用后的实例名称,跳转到SAE应用详情页面。
      跳转到SAE实例
    3. 基本信息页面,单击实例部署信息页签。
    4. 在实例右侧操作列,单击Webshell登录Kafka Connect运行环境。
      实例部署信息
      登录后可以通过/opt/kafka/logs/connect.log文件查看Connectors运行日志,进行错误定位。