本文介绍Kafka自定义连接器提供的可观测性能力及错误排查步骤。
可观测性
Kafka自定义连接器提供了多方面的可观测性能力,包括Kafka实例监控、Worker资源监控以及Connector监控大盘。
登录云消息队列 Kafka 版控制台,在概览页面的资源分布区域,选择地域。
在左侧导航栏,选择。
在任务列表页面,找到目标Kafka自定义连接器任务,在其右侧操作列单击详情。
在左侧导航栏,单击指标监控。
单击Kafka实例监控页签,查看Kafka实例级别的消息生产以及消费情况的可观测能力。
单击Kafka Topic 监控页签,查看每个Topoic消息生产以及消费量等信息。
单击Worker资源监控页签,查看SAE应用级别以及实例级别的资源消耗情况。SAE承载着Kafka Connect Worker的运行,其资源消耗情况直接反映了此Connector的资源使用情况。
单击Connector监控页签,查看Kafka Connect Tasks的运行状态。该指标由Kafka Connect框架层提供,当Tasks运行失败时,会展示详细的错误信息,可协助进行错误定位。
错误定位
当Kafka Connectors运行失败时,您可以通过如下步骤逐步排查错误。
在事件流详情页面,单击左侧导航栏的概览。
在基础信息区域,单击运行异常,查看错误类型及详细错误信息。
如果从错误信息中发现是Kafka Connect Task运行失败了,此时可以单击诊断链接跳转到Connector监控页面,查看Task运行失败的详细错误信息。
若上述步骤无法定位错误,您可以登录至SAE控制台进一步调试。
在事件流详情页面,单击左侧导航栏的概览。
在Worker信息区域,单击SAE应用后的实例名称,跳转到SAE应用详情页面。
在基本信息页面,单击实例部署信息页签。
在实例右侧操作列,单击Webshell登录Kafka Connect运行环境。
登录后可以通过/opt/kafka/logs/connect.log文件查看Connectors运行日志,进行错误定位。