通过Kafka协议跨云导入腾讯云CLS日志-日志服务-阿里云

本文介绍如何通过阿里云日志服务（SLS）的数据导入功能，使用标准的Kafka协议，导入腾讯云日志服务（CLS）中的数据，实现跨云日志的集中存储与分析。

重要

本文档为阿里云原创，知识产权归阿里云所有。由于本文档旨在介绍阿里云与第三方产品交互的服务能力，因此可能会提及第三方公司或其产品名称。

准备工作

阿里云资源准备：
- 若使用主账号操作，默认具备所有权限；若使用 RAM 用户操作，请确保其被授予 AliyunLogFullAccess，或参考创建自定义权限策略进行细粒度授权。
- 已创建用于接收数据的目标Project和Logstore。
腾讯云资源准备：
1. 在腾讯云 CLS 控制台中，为需要导出的日志主题开启 Kafka 协议消费功能。
2. 获取以下关键连接信息，用于 SLS 接入配置：
  - 外网服务地址：SLS 将通过该地址连接到腾讯云 CLS 提供的 Kafka 消费端点，建立数据拉取通道。
  - 消费主题：SLS要消费的topic，将从该 Topic 拉取日志信息。
  - 用户名：腾讯云CLS的日志集ID。
  - 密码：腾讯云的访问密钥，格式为${SecretId}#${SecretKey}。
  关于如何在腾讯云上为日志主题开启Kafka协议消费并获取上述信息，请参见腾讯云官方文档：使用Kafka协议消费日志。

操作步骤

步骤一：创建SLS数据导入任务

创建一个作为Kafka消费者的SLS数据导入任务，用于连接腾讯云CLS并拉取日志。

登录日志服务控制台。
在Project列表中，单击目标Project名称。
在左侧导航栏单击任务管理，切换到数据导入页签。
单击创建数据导入任务，在Kafka-数据导入卡片上单击立即接入。
选择数据导入的目标Logstore，并单击下一步。
在导入配置页面，完成以下配置：
- 显示名称：任务的显示名称。
- 服务地址：填写从腾讯云CLS获取的外网服务地址，格式为kafkaconsumer-${region}.cls.tencentcs.com:9096。
- Topic列表：填写从腾讯云CLS获取的消费主题。
- 起始位置：选择数据导入的起点。
  - 最早：从Topic中现存的最早一条数据开始导入。适用于需要全量同步历史数据的场景。
  - 最晚：从任务启动时刻开始导入新产生的数据，适用于增量同步场景。
- 数据格式：根据源日志的实际格式选择。此处以JSON字符串为例，导入任务会将数据解析为键值对格式，且只解析到第一层。
- 编码格式：待导入数据的编码格式，选择UTF-8。
- 高级配置 > 通信协议：
  - protocol：选择sasl_plaintext。
  - mechanism：选择PLAIN。
  - username：填写从腾讯云CLS获取的日志集ID。
  - password：填写腾讯云账号的访问密钥，格式为{SecretId}#{SecretKey}。
单击预览，系统将尝试连接腾讯云CLS并拉取一条数据进行展示。
如果预览失败，请根据错误提示检查服务地址、Topic和认证信息是否正确。
确认预览数据中的字段符合预期后，单击下一步。

步骤二：配置索引

为导入的日志数据配置索引，以启用高效的查询与分析能力。在查询分析配置页面：

系统默认开启全文索引，支持对日志原始内容进行关键词搜索。
如需按字段进行精确查询，请在页面加载出预览数据后，单击自动生成索引，日志服务将根据预览数据中的第一条内容生成字段索引。

单击下一步，完成整个数据接入配置。

步骤三：查看与管理导入任务

任务创建成功后，系统将自动启动并持续运行。

在左侧导航栏，单击任务管理。
选择数据导入页签，单击目标任务名称，即可打开导入任务概览页面，可以查看任务运行状态、处理速率、错误信息等详细监控指标。

计费说明

SLS 数据导入功能的费用根据计费模式不同而有所差异：

按写入量计费：费用基于原始日志写入数据量计算，详细计费说明请参考按写入数据量计费模式计费项。
按功能计费：费用根据读写流量、读写次数、索引流量（如开启索引）以及存储空间等因素综合计算，详细计费说明请参考按使用功能计费模式计费项。