阿里云日志服务(SLS)支持导入火山引擎对象存储(TOS)中的日志文件。您可以通过SLS的数据导入功能,将TOS的日志文件导入到阿里云SLS中,实现日志的查询分析、加工等操作。
本文档为阿里云原创,知识产权归阿里云所有。由于本文档旨在介绍阿里云与第三方产品交互的服务能力,因此可能会提及第三方公司或其产品名称。
准备工作
阿里云资源准备:
火山引擎资源准备:
在火山引擎对象存储(TOS)服务中创建存储桶,并将待导入的日志文件上传至该存储桶。
获取以下关键连接信息,用于 SLS 数据导入任务配置:
存储桶名称
外网访问S3 Endpoint
火山引擎账户访问密钥(Access Key ID 和 Secret Access Key)
关于如何在火山引擎对象存储(TOS)服务中创建存储桶并上传数据文件,请参见火山引擎官方文档:对象存储-控制台快速入门。
操作步骤
步骤一:创建SLS数据导入任务
在SLS控制台创建并配置一个从TOS拉取数据的任务。
登录日志服务控制台。
在Project列表中,单击目标Project名称。
在左侧导航栏单击
任务管理,切换到数据导入页签。单击创建数据导入任务,在S3-数据导入卡片上单击立即接入。
选择数据导入的目标Logstore,并单击下一步。
在导入配置页面,配置数据源信息:
显示名称:任务的显示名称。
S3区域:选择自定义,以便手动指定火山引擎TOS的Endpoint。
目标 Endpoint:填写火山引擎TOS存储桶的外网访问域名。
Bucket:填写火山引擎TOS的存储桶名称。
AWS AccessKey ID:填写用于访问火山引擎TOS的Access Key ID。
AWS Secret AccessKey:填写用于访问火山引擎TOS的Secret Access Key。
单击预览,日志服务将尝试连接TOS并读取一个文件样本进行展示。
确认预览数据无误后,单击下一步。
步骤二:配置索引
为导入的日志数据配置索引,以启用高效的查询与分析能力。在查询分析配置页面:
单击下一步,完成整个数据接入配置。
步骤三:查看与管理导入任务
任务创建成功后,系统将自动启动并持续运行。
在左侧导航栏,单击
任务管理。选择数据导入页签,单击目标任务名称,即可打开导入任务概览页面,可以查看任务运行状态、处理速率、错误信息等详细监控指标。
计费说明与使用限制
计费说明:SLS 数据导入功能的费用根据计费模式不同而有所差异:
按写入量计费:费用基于原始日志写入数据量计算,详细计费说明请参考按写入数据量计费模式计费项。
按功能计费:费用根据读写流量、读写次数、索引流量(如开启索引)以及存储空间等因素综合计算,详细计费说明请参考按使用功能计费模式计费项。
使用限制:目前日志服务(SLS)只支持导入单个大小不超过5 GB的TOS文件,压缩文件大小按照压缩后的大小计算。