管理智能存储分层

日志服务提供智能分层存储功能,您可以按需将数据进行热存储、低频存储和归档存储。降低您长周期存储的成本,并同时保证日志的查询、分析、可视化、告警、投递和加工等能力不受影响。本文将为您介绍日志服务数据存储生命周期管理。

什么是智能存储分层

存储类型

类型

说明

热存储

  • 热存储是一种可扩展、高可用的数据存储方案,用于存储经常被访问的数据。

  • 支持数据实时访问,提供高性能的日志查询和分析功能,适用于数据高频查询分析等业务场景。

低频存储

  • 低频存储(原冷存储)是一种能降低您长周期存储的成本的存储类型,同时保证日志的查询、分析、可视化、告警、投递和加工等能力不受影响。

  • 适用于较低查询分析频率,问题回溯等业务场景。

归档存储

  • 归档存储在现有热存储、低频存储的基础上,为您提供更低成本且可查询、分析的长期数据存储方案。

  • 适用于数据审计长期保存的业务场景。

存储周期说明

重要
  • 热存储数据保存时间、低频存储数据保存时间和归档存储数据保存时间的总和,等于数据保存时间。

  • 数据保存时间3650天表示永久保存,超过3650天的也会继续保存,计入归档存储数据层。

  • 数据保存时间在3650天以内

    场景1:数据保存时间为90天,将热存储数据保存30天后自动转换为归档存储,归档存储数据保存60天后自动删除。

    场景2:数据保存时间为97天,将热存储数据保存7天后自动转换为低频存储,低频存储数据保存30天后自动转换为归档存储,归档存储数据保存60天后自动删除。

    image
  • 数据保存时间在3650天及以上

    场景3:数据保存时间为3650天,热存储层数据保存时间为30天,全部转换为归档存储,则归档存储数据保存时间需设置为3650 - 30 = 3620天。同时,因为数据保存时间3650天表示永久保存,超过3620天的也会继续保存,计入归档存储数据层。

    场景4:数据保存时间为3650天,热存储层数据保存时间为7天,低频存储数据保存时间为30天,则归档存储数据保存时间需设置为3650 - 7- 30 = 3613天。同时,因为数据保存时间3650天表示永久保存,超过3613天的也会继续保存,计入归档存储数据层。

    image

存储类型对比

存储类型

热存储

低频存储

归档存储

适用场景

高频、高性能的查询与分析

问题回溯定位场景

数据审计场景

费用

0.0115元/GB/天

0.005元/GB/天

0.0017元/GB/天

性能

时延(十亿级规模)

十至百毫秒

百毫秒至秒

分钟

并发(Project级别)

查询并发数:100

分析并发数:2

查询并发数:10

分析并发数:2

查询并发数:1

分析并发数:1

优势

快速高并发查询与分析

低频率查询与分析,高性价比

偶尔查询与分析,低成本

多种存储类型间可通过数据生命周期管理功能实现数据自动分层:

  • 配置简便,无需编写脚本或手动迁移数据。

  • 低频存储和归档存储数据与热存储数据一样可实时访问,无需手动取回或修改应用,无任何取回费用。

存储时间限制

按使用功能计费

  • 至少需保存7天热存储后可转为低频存储。

  • 至少需保存30天热存储后可转为归档存储。

至少保存30天低频存储后可转为归档存储。

最少存储时间为60天。

按写入数据量计费

30天热存储免费权益

存储分层的转换流程

image

三种存储类型之间可以互相转换,存储类型转换说明参见下表。

序号 

说明

1

热存储数据至少需要保存7天才能转换为低频存储。

2

热存储数据至少需要保存30天才能转换为归档存储。

3

低频存储数据至少需要保存30天才能转换为归档存储。

4

通过修改热存储数据保存时间,将低频存储数据转回热存储中。

5

通过修改低频储数据保存时间,将归档存储数据转回低频存储中。

6

通过修改热存储数据保存时间,实现将归档存储数据转回热存储中。

管理存储分层

控制台

  1. 登录日志服务控制台

  2. 在Project列表区域,单击目标Project。

    image

  3. 日志存储 > 日志库页签中,单击目标Logstore对应的Logstore图标,然后单击修改

    image

  4. Logstore属性页面,单击修改。参考下图配置开启智能存储分层,然后单击保存

    image

    开启智能存储分层功能的相关参数如下表所示,其他参数说明请参见创建Logstore

    参数

    说明

    数据保存时间

    数据保存时间请参见基础资源

    • 数据保存时间支持设置为限定天数永久保存

    • 热存储数据保存时间、低频存储数据保存时间和归档存储数据保存时间的总和,等于数据保存时间。

    重要

    缩短数据保存时间后,日志服务将在1小时左右删除数据。例如您原本的数据保存时间为5天,现修改为1天,则日志服务将在1小时左右删除前4天的数据。

    智能分层存储

    打开智能分层存储开关,开启智能分层存储功能。

    存储策略

    配置数据在各层的存储时间。

    热存储层数据保存

    数据在Logstore热存储层中的存储时间。

    • 当热存储转为低频存储时,取值范围为7~3650,单位:天。

    • 当热存储转为归档存储时,取值范围为30~3650,单位:天。

    重要
    • 修改热存储层数据保存时间后,日志服务将在1小时左右生效。例如您原本的数据的热存储时间为30天,现修改为40天,则日志服务将在1小时左右将低频存储数据或归档存储数据转回热存储。

    • 热存储层数据保存时间参数值要小于数据保存时间参数值。

    低频存储数据保存

    数据在Logstore低频存储层中的存储时间。

    当低频存储转为归档存储时,取值范围为30~3650,单位:天。

    重要
    • 修改低频存储层数据保存时间后,日志服务将在1小时左右生效。例如您原本的数据的低频存储时间为30天,现修改为40天,则日志服务将在1小时左右将归档存储数据转回低频存储。

    • 低频存储层数据保存时间参数值要小于数据保存时间参数值。

    归档存储数据保存

    数据在Logstore归档存储层中的存储时间。取值范围为60~3650,单位:天。当数据的存储时间超过您所配置的归档存储数据保存时间后,数据将自动删除。

    重要

    归档存储层数据保存时间参数值要小于数据保存时间参数值。

API

  • 您可以在创建Logstore的过程中,通过API调用并传递ttl(数据保存时间)、hot_ttl(热存储数据保存时间)、infrequentAccessTTL(低频存储数据保存时间)参数来配置存储分层的保留策略。创建Logstore详细请参见CreateLogStore - 创建LogStore

  • 同样地,对于已经创建的Logstore,您也可以通过调用修改Logstore的API接口,并更新ttlhot_ttlinfrequentAccessTTL参数的值,来动态调整存储分层的保留策略,以满足您对数据保留和成本控制的需求。修改Logstore详细信息请参见UpdateLogStore - 更新LogStore

相关文档

  • 管理Logstore相关信息请参见管理Logstore

  • 分层存储数据的存储费用按照存储空间计费,数据转换不会产生费用。详细信息请参见计费概述

  • 按写入数据量计费模式下,存在30天免费存储额度,当开启智能分层存储后,存储费用将根据具体存储时间及当前存储类型进行计算,更多信息,请参见计费案例

  • 按使用功能计费与按写入数据量计费模式具体信息请参见按量付费

  • 日志服务提供本地冗余存储和同城冗余存储两种存储冗余类型,详细信息请参见存储冗余