本文介绍如何将Kafka数据导入到日志服务,实现数据的查询分析、加工等操作。
前提条件
- 已有可用的Kafka集群。
- 已创建Project和Logstore。具体操作,请参见创建Project和创建Logstore。
版本说明
目前,只支持Kafka 2.2.0及以上版本。
创建数据导入配置
查看导入配置
创建导入配置成功后,您可以在控制台中查看已创建的导入配置及生成的统计报表。
- 单击目标Project。
- 选择目标日志库下的 ,单击配置名称。
- 在导入配置概览页面,查看导入配置的基本信息和统计报表。
相关操作
在导入配置概览页面,您还可以进行如下操作。
- 修改配置
单击修改配置,修改导入配置的相关配置。具体配置,请参见创建数据导入配置。
- 删除配置 单击删除配置,删除该导入配置。警告 删除后不可恢复,请谨慎操作。
- 停止任务
单击停止,停止该导入任务。
常见问题
问题 | 可能原因 | 解决方法 |
---|---|---|
预览时出现Kafka Broker连接错误(Broker transport failure)。 |
|
|
预览时出现超时错误(preview request timed out)。 | 待导入的Kafka Topic中没有数据。 | 如果待导入的Kafka Topic中没有数据,请在写入数据后,再重试预览。 |
数据存在乱码。 | 编码格式配置不符合预期。 | 根据Kafka真实的编码格式更新导入配置。 如果需要修复已有的乱码数据,请创建新的Logstore和导入配置。 |
日志服务中显示的数据时间和数据本身的时间不一致。 | 设置导入配置时,没有指定日志时间字段或者设置时间格式、时区有误。 | 设置指定的日志时间字段以及正确的时间格式和时区。更多信息,请参见创建数据导入配置。 |
导入数据后,无法查询和分析数据。 |
| |
导入的数据条目数量少于预期。 | 存在大于3 MB的Kafka数据,您可以通过数据处理流量观测仪表盘确认。 | 缩小单条Kafka消息的大小。 |
数据导入时存在明显的延迟 |
|
|
错误处理机制
限制项 | 说明 |
---|---|
网络连接错误 | 导入任务会定期重试,即网络连接恢复后,导入任务会自动从之前中断的Offset位置继续消费数据。 |
Kafka Topic不存在 | 当目标Kafka Topic不存在时,导入任务会跳过该Topic,且不影响其他正常Topic的数据导入。 当不存在的Topic被重建后,导入任务会正常消费该Topic中的数据(存在10分钟左右的延迟)。 |
SLS Logstore不存在 | 导入任务会定期重试,即重建Logstore后,导入任务会自动恢复导入,并从上一次成功处理消息的Offset位置继续拉取消息。如果之前没有成功处理过消息,则按照导入配置中的起始位置的设置来决定要使用的Offset。 |