本文介绍Kafka自定义连接器提供的可观测性能力及错误排查步骤。

可观测性

Kafka自定义连接器提供了多方面的可观测性能力，包括Kafka实例监控、Worker资源监控以及Connector监控大盘。

  1. 登录事件总线EventBridge控制台，在左侧导航栏，单击事件流。
  2. 在顶部菜单栏，选择地域。
  3. 在事件流页面，找到目标Kafka自定义连接器任务，在其右侧操作列单击详情。
  4. 在左侧导航栏，单击指标监控。
    • 单击Kafka实例监控页签，查看Kafka实例级别的消息生产以及消费情况的可观测能力。Kafka实例监控
    • 单击Worker资源监控页签，查看SAE应用级别以及实例级别的资源消耗情况。SAE承载着Kafka Connect Worker的运行，其资源消耗情况直接反映了此Connector的资源使用情况。Worker资源监控
    • 单击Connector监控页签，查看Kafka Connect Tasks的运行状态。该指标由Kafka Connect框架层提供，当Tasks运行失败时，会展示详细的错误信息，可协助进行错误定位。Connector监控

错误定位

当Kafka Connectors运行失败时，您可以通过如下步骤逐步排查错误。

  1. 在事件流详情页面，单击左侧导航栏的概览。
  2. 在基础信息区域，单击运行异常，查看错误类型及详细错误信息。
    运行异常

    如果从错误信息中发现是Kafka Connect Task运行失败了，此时可以单击诊断链接跳转到Connector监控页面，查看Task运行失败的详细错误信息。

  3. 若上述步骤无法定位错误，您可以登录至SAE控制台进一步调试。
    1. 在事件流详情页面，单击左侧导航栏的概览。
    2. 在Worker信息区域，单击SAE应用后的实例名称，跳转到SAE应用详情页面。
      跳转到SAE实例
    3. 在基本信息页面，单击实例部署信息页签。
    4. 在实例右侧操作列，单击Webshell登录Kafka Connect运行环境。
      实例部署信息
      登录后可以通过/opt/kafka/logs/connect.log文件查看Connectors运行日志，进行错误定位。