数据分层存储

如果是非分区表，可以通过SET_TABLE_PROPERTY来设置表的存储策略。支持的选项有：

• hot（热存储）。

• cold（冷存储）。

例如将tbl1设置为使用冷存存储，代码如下：

-- 建表时指定存储策略为冷存储
BEGIN;
CREATE TABLE tbl1 (
 "id" int NOT NULL,
 "name" text NOT NULL
);
CALL set_table_property('tbl1', 'storage_mode', 'cold');
COMMIT;

Hologres支持建表后修改存储介质。例如将表tbl1的存储介质改为热存存储，系统会异步的将数据搬迁到热存存储。示例如下：

-- 建表后修改存储介质为热存储
CALL set_table_property('tbl1', 'storage_mode', 'hot');

分区表也可以通过SET_TABLE_PROPERTY来设置表的存储策略，分区子表默认继承父表的存储属性，也可以分别设置父表和子表的存储策略。支持的选项有：

• hot（热存储）。

• cold（冷存储）。

例如将分区父表（tbl2）设置为使用冷存存储，之后该分区父表（tbl2）对应的分区子表（tbl2_v1）都会使用冷存进行数据存储，代码如下：

-- 建表时指定存储策略为冷存储
BEGIN;
CREATE TABLE tbl2(
  c1 text not null,
  c2 text
)
PARTITION BY LIST(c2);
CALL set_table_property('tbl2', 'storage_mode', 'cold');
create table tbl2_v1 partition of tbl2 for values in('v1');
COMMIT;

Hologres支持在建表后修改存储介质。例如将分区父表tbl2的存储介质改为热存存储，系统会将该分区父表对应所有分区子表的数据都异步的搬迁到热存存储。示例如下：

-- 建表后修改存储策略为热存储介质
CALL set_table_property('tbl2', 'storage_mode', 'hot');

如果您需要单独设置某个分区子表使用冷存存储，则需要修改该分区子表的storage_mode属性。示例如下：

-- 创建多个分区子表

create table tbl2_v2 partition of tbl2 for values in('v2');
create table tbl2_v3 partition of tbl2 for values in('v3');

-- 查询表属性，当前默认继承父表的热存属性

SELECT * from hg_table_storage_status('public', 'tbl2');

-- 修改分区子表为冷存存储

CALL set_table_property('tbl2_v3', 'storage_mode', 'cold');
                

演示创建一个分区父表，这个时候存储默认是热存储。假如设置每天一个分区，动态保留最近7个历史分区在热存储介质，超过7天之后的23个分区在冷存储介质，同时删掉超过该范围的分区，可以创建分区表，代码如下：

BEGIN;
CREATE TABLE tbl2(
  c1 text not null,
  c2 text
)
PARTITION BY LIST(c2);
CALL set_table_property('tbl2', 'auto_partitioning.enable', 'true');
CALL set_table_property('tbl2', 'auto_partitioning.time_unit', 'DAY');
CALL set_table_property('tbl2', 'auto_partitioning.num_precreate', '3');
CALL set_table_property('tbl2', 'auto_partitioning.num_hot', '7');
CALL set_table_property('tbl2', 'auto_partitioning.num_retention', '30');
COMMIT;

效果如下图所示：

如果我们想修改热存储介质的分区策略，可以修改auto_partitioning.num_hot的值。需要注意的是，如果修改该策略，已经置为冷存的分区子表，不会自动的变为热存。若现在是2022年7月1日，则分区表的DDL如下：

BEGIN;
CREATE TABLE tbl_p(
  c1 text not null,
  c2 text
)
PARTITION BY LIST(c2);
CALL set_table_property('tbl_p', 'auto_partitioning.enable', 'true');
CALL set_table_property('tbl_p', 'auto_partitioning.time_unit', 'DAY');
CALL set_table_property('tbl_p', 'auto_partitioning.num_precreate', '3');
CALL set_table_property('tbl_p', 'auto_partitioning.num_hot', '3');
CALL set_table_property('tbl_p', 'auto_partitioning.num_retention', '10');
COMMIT;

此时的数据分布情况有如下两种场景：

• 场景一：扩大使用热存储截止的分区策略。

  如果需要将动态管理策略的热分区策略改为4个，则使用如下代码：

  CALL set_table_property('tbl_p', 'auto_partitioning.num_hot', '4');

  由于已经置为冷存的分区子表，不会自动的变为热存，则更改后的效果如下图所示：

• 场景二：减小使用热存储截止的分区策略。

  如果需要将动态管理策略的热分区策略改为2个，则使用如下代码：

  CALL set_table_property('tbl_p', 'auto_partitioning.num_hot', '2');

  由于已经置为冷存的分区子表，不会自动的变为热存，但是需要从热存变为冷存的数据会被迁移到冷存，则更改后的效果如下图所示：

可以通过配置子表的keep_storage属性保留分区的冷热存储属性。最常用的场景是将某个分区保留在热存，或者是将已迁移到冷存的分区迁移回热存。例如每年双11的数据经常会被查询，那么可以将双十一当天的数据保持在热存上，以保持其性能，示例如下：

call set_table_property('tbl1_20211111', 'keep_storage', 'true');
call set_table_property('tbl1_20211111', 'storage_mode', 'hot');

若想恢复对子表的动态管理，可以使用如下代码：

call set_table_property('tbl1_20211111', 'keep_storage', 'false');

如果您需要查看当前数据库为了保留分区表有哪些表被设置了，可以使用如下代码：

SELECT
  table_namespace as schema_name
  ,table_name
FROM hologres.hg_table_properties
WHERE property_key='keep_storage'
AND property_value='true';

可以通过调用hg_table_storage_status函数，查询表的存储状态。hg_table_storage_status仅显示数据存储大小，不包含Meta存储大小。使用方法如下：

SELECT * from hg_table_storage_status('<schema_name>', '<table_name>');

返回结果如下：

示例如下：

-- 非分区父表
SELECT * from hg_table_storage_status('public', 'tbl1');--返回单位是Byte
 table_name | hot_size |   cold_size   | status
------------+----------+---------------+--------
 tbl1       |  145643  |      3685     | transferring

-- 分区父表
SELECT * from hg_table_storage_status('public', 'tbl2');--返回单位是Byte
   table_name    | hot_size | cold_size | status
-----------------+----------+-----------+--------
 tbl2_2022062222 |        0 |         0 | hot
 tbl2_2022062221 |     1125 |         0 | hot
 tbl2_2022062220 |     1245 |         0 | hot
 tbl2_2022062219 |     1358 |         0 | hot
 tbl2_2022062218 |        0 |      1875 | cold
 tbl2_2022062217 |        0 |      1143 | cold
 tbl2_2022062216 |        0 |      1299 | cold

查询所有分区：

select parent_table_name,count(*) as partition_cnt,
sum(hot_storage_size)/1024/1024/1024 as hot_size_gb
from hologres.hg_table_info
where type = 'PARTITION' and collect_time::DATE = CURRENT_DATE - interval '1 day'
group by parent_table_name
order by hot_size_gb desc;

查询特定分区访问频次：

select a.table_name,
(a.total_read_count - b.total_read_count) as read_count,
(a.total_write_count - b.total_write_count) as write_count,
a.hot_storage_size
from (select *
      from hologres.hg_table_info
      where type = 'PARTITION'
      and parent_table_name = '${p_table_name}'
      and collect_time::DATE = CURRENT_DATE - interval '1 day') a
join
(select *
     from hologres.hg_table_info
     where type = 'PARTITION'
     and parent_table_name = '${p_table_name}'
     and collect_time::DATE = CURRENT_DATE - interval '${days} day') b
on a.table_name = b.table_name
order by table_name desc;