消费已转储至华为云Kafka的LTS日志-日志服务-阿里云

本文介绍如何通过阿里云日志服务（SLS）的数据导入功能，使用标准的Kafka协议，消费并导入已从华为云 LTS 转储至华为云Kafka中的日志数据，从而实现跨云日志的集中存储与分析。

重要

本文档为阿里云原创，知识产权归阿里云所有。由于本文档旨在介绍阿里云与第三方产品交互的服务能力，因此可能会提及第三方公司或其产品名称。

准备工作

阿里云资源准备：
- 若使用主账号操作，默认具备所有权限；若使用 RAM 用户操作，请确保其被授予 AliyunLogFullAccess系统策略，或参考创建自定义权限策略进行细粒度授权。
- 已创建用于接收数据的目标Project和Logstore。
华为云资源准备：
1. 已完成华为云LTS到 DMS Kafka的日志转储配置。
2. 确保华为云Kafka实例已开启公网访问，并配置正确的安全组规则，以允许来自阿里云SLS的访问。
3. 获取以下关键连接信息，用于 SLS 数据导入任务配置：
  - Kafka实例服务地址：SLS 将通过该公网地址连接到华为云 Kafka 集群，建立数据消费通道。
  - Topic：SLS 将从该 Topic 中拉取 LTS 转储的日志数据。
  - 认证凭据（用户名/密码）：若启用了 SASL 认证，SLS 需使用此凭据完成身份验证，获取消费权限。
  - 安全协议：明确 Kafka 使用的通信加密方式。
关于如何在华为云上配置日志转储并获取上述信息，请参见华为云官方文档：日志转储至DMS。

操作步骤

步骤一：创建SLS数据导入任务

登录日志服务控制台。
在Project列表中，单击目标Project名称。
在左侧导航栏单击任务管理，切换到数据导入页签。
单击创建数据导入任务，在Kafka-数据导入卡片上单击立即接入。
选择数据导入的目标Logstore，并单击下一步。
在导入配置页面，填写以下信息：
- 显示名称：任务的显示名称。
- 服务地址：填写华为云Kafka实例的公网服务地址。
- Topic列表：填写用于接收LTS日志的Topic名称。
- 起始位置：选择数据导入的起点。
  - 最早：从Topic中现存的最早一条数据开始导入。适用于需要全量同步历史数据的场景。
  - 最晚：从任务启动时刻开始导入新产生的数据，适用于增量同步场景。
- 数据格式：根据源日志的实际格式选择。此处以JSON字符串为例，导入任务会将数据解析为键值对格式，只解析到第一层。
- 编码格式：待导入数据的编码格式，选择UTF-8。
- 高级配置 > 通信协议：可选配置，华为云Kafka实例开启了sasl认证时需要
  - protocol：选择sasl_ssl。
  - mechanism：选择SCRAM-SHA-512。
  - username：填写您在华为云Kafka实例准备好的SASL认证用户名。
  - password：填写您在华为云Kafka实例准备好的SASL认证密码。
单击预览，检查SLS是否能成功连接到您的Kafka并消费数据。
确认预览数据中的字段符合预期后，单击下一步。

步骤二：配置索引

为保证数据能够被高效查询与分析，需要为其配置索引。在查询分析配置页面：

系统默认开启全文索引，支持对日志原始内容进行关键词搜索。
如需按字段进行精确查询，请在页面加载出预览数据后，单击自动生成索引，日志服务将根据预览数据中的第一条内容生成字段索引。

单击下一步，完成整个数据接入配置。

步骤三：查看与管理导入任务

任务创建成功后，系统将自动启动并持续运行。

在左侧导航栏，单击任务管理。
选择数据导入页签，单击目标任务名称，即可打开导入任务概览页面，查看任务运行状态。

计费说明

SLS 数据导入功能的费用根据计费模式不同而有所差异：

按写入量计费：费用基于原始日志写入数据量计算，详细计费说明请参考按写入数据量计费模式计费项。
按功能计费：费用根据读写流量、读写次数、索引流量（如开启索引）以及存储空间等因素综合计算，详细计费说明请参考按使用功能计费模式计费项。