阿里云SLS导入腾讯云COS数据

准备工作

1. 阿里云资源准备：

   • 若使用主账号操作，默认具备所有权限；若使用 RAM 用户操作，请确保其被授予 AliyunLogFullAccess，或参考创建自定义权限策略进行细粒度授权。

   • 已创建用于接收数据的目标Project和Logstore。

2. 腾讯云资源准备：

   • 在腾讯云对象存储（COS）服务中创建存储桶，并将待导入的日志文件上传至该存储桶。

   • 获取以下关键连接信息，用于 SLS 数据导入任务配置：

     • 存储桶名称

     • 存储桶访问域名

     • 腾讯云账户访问密钥（SecretId和SecretKey）

   关于如何在腾讯云对象存储（COS）服务中创建存储桶并上传数据文件，请参见腾讯云官方文档：对象存储-控制台快速入门。

操作步骤

步骤一：创建SLS数据导入任务

此步骤用于在SLS控制台创建并配置一个从COS拉取数据的任务。

1. 登录日志服务控制台。

2. 在Project列表中，单击目标Project名称。

3. 在左侧导航栏单击任务管理，切换到数据导入页签。

4. 单击创建数据导入任务，在S3-数据导入卡片上单击立即接入。

5. 选择数据导入的目标Logstore，并单击下一步。

6. 在导入配置页面，配置数据源信息：

   • 显示名称：任务的显示名称。

   • S3区域：选择自定义。

   • 目标 Endpoint：填写腾讯云COS的访问域名，例如 cos.ap-guangzhou.myqcloud.com。

   • Bucket：填写腾讯云COS的存储桶名称。

   • AWS AccessKey ID：填写从腾讯云获取的访问密钥ID。

   • AWS Secret AccessKey：填写对应的Secret Key。

7. 单击预览，SLS 将尝试连接 COS 并读取文件。

   若连接失败，请检查网络连通性、Endpoint 是否正确、SecretId/SecretKey 是否有效及权限是否开启。

8. 确认预览数据无误后，单击下一步。

步骤二：配置索引

为导入的日志数据配置索引，以启用高效的查询与分析能力。在查询分析配置页面：

• 系统默认开启全文索引，支持对日志原始内容进行关键词搜索。

• 如需按字段进行精确查询，请在页面加载出预览数据后，单击自动生成索引，日志服务将根据预览数据中的第一条内容生成字段索引。

单击下一步，完成整个数据接入配置。

步骤三：查看与管理导入任务

任务创建成功后，系统将自动启动并持续运行。

1. 在左侧导航栏，单击任务管理。

2. 选择数据导入页签，单击目标任务名称，即可打开导入任务概览页面，可以查看任务运行状态、处理速率、错误信息等详细监控指标。

计费说明与使用限制

• 计费说明：SLS 数据导入功能的费用根据计费模式不同而有所差异：

  • 按写入量计费：费用基于原始日志写入数据量计算，详细计费说明请参考按写入数据量计费模式计费项。

  • 按功能计费：费用根据读写流量、读写次数、索引流量（如开启索引）以及存储空间等因素综合计算，详细计费说明请参考按使用功能计费模式计费项。

• 使用限制：目前日志服务（SLS）只支持导入单个大小不超过5 GB的COS文件，压缩文件大小按照压缩后的大小计算。