冷热数据分层存储

前提条件

背景知识

• 热数据：访问频次较高的数据，存储在热数据盘（即创建集群时所选的ESSD云盘或高效云盘）中，满足高性能访问的需求。

• 冷数据：访问频次较低的数据，存储在较低价的冷数据盘中，满足高性价比的存储需求。

  冷热数据分层存储提供了两种存储策略，具体如下：

  存储策略	详情
  默认存储策略	将新写入的数据存储在热数据盘中，提供高效查询。当热数据存储量达到业务使用阈值时，自动将当前热数据盘中占用空间最大的part数据文件移动到冷数据盘存储，从而释放热数据盘存储空间。
  TTL存储策略	在默认存储策略基础上，添加TTL语句，实现将间隔时间之前的所有数据自动转移到冷数据盘中。

注意事项

• 开通冷热数据分层存储功能，请在业务低峰期进行。开通该功能后集群会立即进行重启，重启期间只能查看集群信息，无法进行升配、扩容、缩容、修改参数配置等操作。

• 使用冷热数据分层存储功能时，需要给表指定存储策略。

  • 建表时，通过SETTINGS storage_policy = 'hot_to_cold'指定存储策略。

  • 修改存量表的存储策略。

    2024年1月1日之后开通冷热存储策略的集群

    执行以下语句进行策略修改。

    ALTER TABLE <table_name> MODIFY SETTING storage_policy = 'hot_to_cold';

    2024年1月1日之前开通冷热存储策略的集群

    通过管控运维操作，新增冷热存储策略，让您能够使用新策略将热盘数据迁移到冷盘。

• 冷热数据分层存储功能开通后，暂不支持关闭。

计费说明

• 计费规则如下。

  存储类型	计费详情
  热数据存储	购买集群后已经拥有了热数据存储空间，与购买集群的存储空间相同。
  冷数据存储	采用按量付费模式。无需提前购买固定的存储空间，先使用，后付费，并按照实际使用的存储空间每小时计费一次。

• 冷数据存储的详细单价，请参见社区兼容版存储空间费用。

• 计费公式：冷存储空间费用=冷数据存储单价×冷数据存储使用量×使用时长。

• 示例：若冷数据存储单价为0.0002元/GB/小时，19：00-20：00使用冷数据存储2000 GB，则总费用为：0.0002元/GB/小时×2000 GB×1小时=0.4元。20：00-21：00释放了500 GB冷数据存储空间，实际使用了1500 GB存储空间，那么20：00-21：00的总费用为：0.0002元/GB/小时×1500 GB×1小时=0.3元。

开通冷热分层存储

1. 登录云数据库ClickHouse控制台。

2. 在页面左上角，选择集群所在的地域。

3. 在集群列表页面，选择社区版实例列表，单击目标集群ID。

4. 单击左侧导航栏的冷热分层存储。

5. 单击开通冷热分层存储。

6. 在弹出的冷热数据分层开启提示窗口，单击确定。

   确定开通后，集群会进行重启。待集群状态从配置变更中变为运行中，即完成开通。

冷热分层默认存储策略

冷热分层存储功能开通后，默认存储策略的相关参数如下表所示。

建表时设置TTL分层存储策略

在默认存储策略的基础上，添加TTL语句，实现将间隔时间之前的所有数据自动转移到冷数据盘中。

TTL <time_column> + INTERVAL <number> TO DISK 'cold_disk'

示例

CREATE TABLE ttl_test_tbl
(
    `f1` String,
    `f2` String,
    `f3` Int64,
    `f4` Float64,
    `date` Date
)
ENGINE = MergeTree()
PARTITION BY date
ORDER BY f1
TTL date + INTERVAL 90 DAY TO DISK 'cold_disk'
SETTINGS storage_policy = 'hot_to_cold';

更改TTL分层存储策略

您可以更改TTL分层存储策略的日期或日期类型的列以及间隔的时间。

ALTER TABLE <table_name> ON CLUSTER default MODIFY TTL <time_column> + INTERVAL <number> TO DISK 'cold_disk';

移动冷热数据盘的数据

• 移动热数据盘数据到冷数据盘。

  ALTER TABLE <table_name> ON CLUSTER default MOVE PARTITION <partition> TO DISK 'cold_disk';

• 移动冷数据盘数据到热数据盘。

  ALTER TABLE <table_name> ON CLUSTER default MOVE PARTITION <partition> TO DISK 'default';

  说明

  partition为分区名称，您可以在system.parts系统表中查看。

查看冷热数据盘上的数据

• 查看热数据盘上的数据。

  SELECT * FROM system.parts WHERE database = '<db_name>' AND TABLE = '<tbl_name>' AND disk_name ='default' AND active = 1;

• 查看冷数据盘上的数据。

  SELECT * FROM system.parts WHERE database = '<db_name>' AND TABLE = '<tbl_name>' AND disk_name ='cold_disk' AND active = 1;

查看磁盘空间

SELECT * FROM system.disks;

┌─name─────┬─────────path───────────────────────────┬─free_space───────────┬─total_space ─────────┬─used_space───┬─keep_free_space───┬──type──┐
│ cold_disk│ /clickhouse/data/data/disks/cold_disk/ │ 18446744073709551615 │ 18446744073709551615 │ 115312080698 │   0               │   OSS  │
│ default  │ /clickhouse/data/data/                 │ 201663209472         │ 207083249664         │ 5420040192   │   0               │  local │ 
└──────────┴────────────────────────────────────────┴──────────────────────┴──────────────────────┴──────────────┴───────────────────┴────────┘

SELECT move_ttl_info.min,move_ttl_info.max FROM system.parts WHERE database = '<db_name>'AND table = '<tb_name>'AND disk_name = 'default'