通过Kafka协议实时导入火山引擎TLS日志-日志服务-阿里云

本文介绍如何配置阿里云日志服务（SLS）的数据导入功能，实时消费火山引擎日志服务（TLS）中的数据。该方案利用SLS对Kafka协议的兼容性，通过SASL_SSL安全连接，将TLS日志实时拉取至指定的Logstore，实现跨云数据的集中存储与分析。

重要

本文档为阿里云原创，知识产权归阿里云所有。由于本文档旨在介绍阿里云与第三方产品交互的服务能力，因此可能会提及第三方公司或其产品名称。

准备工作

阿里云资源准备：
- 若使用主账号操作，默认具备所有权限；若使用 RAM 用户操作，请确保其被授予 AliyunLogFullAccess系统策略，或参考创建自定义权限策略进行细粒度授权。
- 已创建用于接收数据的目标Project和Logstore。
火山引擎资源准备：
1. 在火山引擎 TLS 控制台中，为需要导出的日志主题开启 Kafka 协议消费功能。
2. 获取以下关键连接信息，用于 SLS 接入配置：
  - TLS日志项目的公网服务地址：SLS 将通过该地址建立连接通道。
  - Kafka 协议消费主题 ID：SLS要消费的topic，将从该 Topic 拉取日志信息。
  - 日志项目ID：作为Kafka SASL的用户名。
  - 火山引擎账户密钥：作为Kafka SASL用户密码，格式为 {access-key-id}#{access-key-secret}。
  关于如何在火山引擎上为日志主题开启Kafka协议消费并获取上述信息，请参见火山引擎官方文档：通过 Kafka 协议消费日志。

操作步骤

步骤一：创建SLS数据导入任务

在SLS控制台创建一个数据导入任务，并将其配置为能够正确连接并消费火山引擎TLS数据的Kafka消费者。

登录日志服务控制台。
在Project列表中，单击目标Project名称。
在左侧导航栏单击任务管理，切换到数据导入页签。
单击创建数据导入任务，在Kafka-数据导入卡片上单击立即接入。
选择数据导入的目标Logstore，然后单击下一步。
在导入配置页面，完成以下配置：
- 显示名称：任务的显示名称。
- 服务地址：填写火山引擎TLS日志项目的公网服务地址，格式为公网地址:9093，例如tls-cn-beijing.volces.com:9093。
- Topic列表：填写从火山引擎获取的Kafka协议消费主题ID。
- 起始位置：选择数据导入的起点。
  - 最早：从Topic中现存的最早一条数据开始导入。适用于需要全量同步历史数据的场景。
  - 最晚：从任务启动时刻开始导入新产生的数据，适用于增量同步场景。
- 数据格式：根据源日志的实际格式选择。此处以JSON字符串为例，导入任务会将数据解析为键值对格式，且只解析到第一层。
- 编码格式：待导入数据的编码格式，选择UTF-8。
- 高级配置 > 通信协议：
  - protocol：必须选择sasl_ssl。
  - mechanism：选择PLAIN。
  - username：填写从火山引擎获取的日志项目ID。
  - password：填写火山引擎的访问密钥，格式为 {access-key-id}#{access-key-secret} ，如AKLTMTI3NzgtMmYwMy00ZDA5LWEwYjAtYjgwMDY3******#NTBks1YtNzgwMy00M2QyLTkyNzgtYjM5Y2Ew******。
单击预览，系统将尝试连接火山引擎TLS并拉取一条数据进行展示。
如果预览失败，请根据错误提示检查服务地址、Topic和认证信息是否正确。
确认预览数据符合预期后，单击下一步。

步骤二：配置索引

为导入的日志数据配置索引，以启用高效的查询与分析能力。在查询分析配置页面：

系统默认开启全文索引，支持对日志原始内容进行关键词搜索。
如需按字段进行精确查询，请在页面加载出预览数据后，单击自动生成索引，日志服务将根据预览数据中的第一条内容生成字段索引。

单击下一步，完成整个数据接入配置。

步骤三：查看与管理导入任务

任务创建成功后，系统将自动启动并持续运行。

在左侧导航栏，单击任务管理。
选择数据导入页签，单击目标任务名称，即可打开导入任务概览页面，可以查看任务运行状态、处理速率、错误信息等详细监控指标。

计费说明

SLS 数据导入功能的费用根据计费模式不同而有所差异：

按写入量计费：费用基于原始日志写入数据量计算，详细计费说明请参考按写入数据量计费模式计费项。
按功能计费：费用根据读写流量、读写次数、索引流量（如开启索引）以及存储空间等因素综合计算，详细计费说明请参考按使用功能计费模式计费项。