日志服务提供智能分层存储功能,您可以按需将数据进行热存储、低频存储和归档存储。降低您长周期存储的成本,并同时保证日志的查询、分析、可视化、告警、投递和加工等能力不受影响。本文将为您介绍日志服务数据存储生命周期管理。
什么是智能存储分层
存储类型
| 类型 | 说明 | 
| 热存储 | 
 | 
| 低频存储 | 
 | 
| 归档存储 | 
 | 
存储周期说明
- 热存储数据保存时间、低频存储数据保存时间和归档存储数据保存时间的总和,等于数据保存时间。 
- 数据保存时间3650天表示永久保存,超过3650天的也会继续保存,计入归档存储数据层。 
- 数据保存时间在3650天以内 - 场景1:数据保存时间为90天,将热存储数据保存30天后自动转换为归档存储,归档存储数据保存60天后自动删除。 - 场景2:数据保存时间为97天,将热存储数据保存7天后自动转换为低频存储,低频存储数据保存30天后自动转换为归档存储,归档存储数据保存60天后自动删除。 
- 数据保存时间在3650天及以上 - 场景3:数据保存时间为3650天,热存储层数据保存时间为30天,全部转换为归档存储,则归档存储数据保存时间需设置为3650 - 30 = 3620天。同时,因为数据保存时间3650天表示永久保存,超过3620天的也会继续保存,计入归档存储数据层。 - 场景4:数据保存时间为3650天,热存储层数据保存时间为7天,低频存储数据保存时间为30天,则归档存储数据保存时间需设置为3650 - 7- 30 = 3613天。同时,因为数据保存时间3650天表示永久保存,超过3613天的也会继续保存,计入归档存储数据层。 
存储类型对比
| 存储类型 | 热存储 | 低频存储 | 归档存储 | |
| 适用场景 | 高频、高性能的查询与分析 | 问题回溯定位场景 | 数据审计场景 | |
| 费用 | 0.0115元/GB/天 | 0.005元/GB/天 | 0.0017元/GB/天 | |
| 性能 | 时延(十亿级规模) | 十至百毫秒 | 百毫秒至秒 | 分钟 | 
| 并发(Project级别) | 查询并发数:100 分析并发数:2 | 查询并发数:10 分析并发数:2 | 查询并发数:1 分析并发数:1 | |
| 优势 | 快速高并发查询与分析 | 低频率查询与分析,高性价比 | 偶尔查询与分析,低成本 | |
| 多种存储类型间可通过数据生命周期管理功能实现数据自动分层: 
 | ||||
| 存储时间限制 | 
 | 至少保存30天低频存储后可转为归档存储。 | 最少存储时间为60天。 | |
| 30天热存储免费权益 | ||||
存储分层的转换流程
三种存储类型之间可以互相转换,存储类型转换说明参见下表。
| 序号 | 说明 | 
| 1 | 热存储数据至少需要保存7天才能转换为低频存储。 | 
| 2 | 热存储数据至少需要保存30天才能转换为归档存储。 | 
| 3 | 低频存储数据至少需要保存30天才能转换为归档存储。 | 
| 4 | 通过修改热存储数据保存时间,将低频存储数据转回热存储中。 | 
| 5 | 通过修改低频储数据保存时间,将归档存储数据转回低频存储中。 | 
| 6 | 通过修改热存储数据保存时间,实现将归档存储数据转回热存储中。 | 
管理存储分层
控制台
- 登录日志服务控制台。 
- 在Project列表区域,单击目标Project。  
- 在页签中,单击目标Logstore对应的  图标,然后单击修改。 图标,然后单击修改。 
- 在Logstore属性页面,单击修改。参考下图配置开启智能存储分层,然后单击保存。  - 开启智能存储分层功能的相关参数如下表所示,其他参数说明请参见创建Logstore。 - 参数 - 说明 - 数据保存时间 - 数据保存时间请参见基础资源。 - 数据保存时间支持设置为限定天数和永久保存。 
- 热存储数据保存时间、低频存储数据保存时间和归档存储数据保存时间的总和,等于数据保存时间。 
 重要- 缩短数据保存时间后,会在1分钟内生效。 例如您原本的数据保存时间为5天,现修改为1天,则日志服务将会删除前4天的数据。 数据的实际删除时间最多会延迟7天,但延迟删除的这部分数据不会计入收费,也不会计入存储容量。 - 智能分层存储 - 打开智能分层存储开关,开启智能分层存储功能。 - 存储策略 - 配置数据在各层的存储时间。 - 热存储层数据保存 - 数据在Logstore热存储层中的存储时间。 - 当热存储转为低频存储时,取值范围为7~3650,单位:天。 
- 当热存储转为归档存储时,取值范围为30~3650,单位:天。 
 重要- 修改热存储层数据保存时间后,日志服务将在1分钟内生效。例如您原本的数据的热存储时间为30天,现修改为40天,则日志服务将在1分钟内将低频存储数据或归档存储数据转回热存储。 
- 热存储层数据保存时间参数值要小于数据保存时间参数值。 
 - 低频存储数据保存 - 数据在Logstore低频存储层中的存储时间。 - 当低频存储转为归档存储时,取值范围为30~3650,单位:天。 重要- 修改低频存储层数据保存时间后,日志服务将在1分钟内生效。例如您原本的数据的低频存储时间为30天,现修改为40天,则日志服务将在1分钟内将归档存储数据转回低频存储。 
- 低频存储层数据保存时间参数值要小于数据保存时间参数值。 
 - 归档存储数据保存 - 数据在Logstore归档存储层中的存储时间。取值范围为60~3650,单位:天。当数据的存储时间超过您所配置的归档存储数据保存时间后,数据将自动删除。 重要- 归档存储层数据保存时间参数值要小于数据保存时间参数值。 
API
- 您可以在创建Logstore的过程中,通过API调用CreateLogStore - 创建LogStore传递 - ttl(数据保存时间)、- hot_ttl(热存储数据保存时间)、- infrequentAccessTTL(低频存储数据保存时间)参数来配置存储分层的保留策略。
- 同样地,对于已经创建的Logstore,您也可以通过调用UpdateLogStore - 更新LogStore接口,更新 - ttl、- hot_ttl和- infrequentAccessTTL参数的值,来动态调整存储分层的保留策略,以满足您对数据保留和成本控制的需求。
相关文档
- 管理Logstore相关信息请参见管理Logstore。 
- 分层存储数据的存储费用按照存储空间计费,数据转换不会产生费用。详细信息请参见计费概述。 
- 按写入数据量计费模式下,存在30天免费存储额度,当开启智能分层存储后,存储费用将根据具体存储时间及当前存储类型进行计算,更多信息,请参见计费案例。 
- 按使用功能计费与按写入数据量计费模式具体信息请参见按量付费。 
- 日志服务提供本地冗余存储和同城冗余存储两种存储冗余类型,详细信息请参见存储冗余。