Table Group与Shard Count操作指南

Table Group与Shard Count设置建议

权限说明

• 新建Table Group、修改默认Table Group、删除Table Group、迁移表的Table Group（Resharding）需要实例的Superuser账号进行操作。使用Superuser账号执行如下语句为普通用户授予Superuser权限。

  --将“云账号ID”替换为实际用户名。如果是RAM用户，账号ID前需要添加“p4_”。
  ALTER USER "云账号ID" SUPERUSER; 

• 将新建表放入指定Table Group操作需要账号有新建表权限。

获取Table Group元数据

1. 查看默认Table Group

   SELECT * FROM hologres.hg_table_group_properties
   WHERE tablegroup_name IN (
     SELECT tablegroup_name FROM hologres.hg_table_group_properties
     WHERE property_key = 'is_default_tg' AND property_value = '1'
   );

   结果：
   说明 结果中is_default_tg代表为默认Table Group，shard_count代表Table Group对应的Shard数。

   tablegroup_name |   property_key   | property_value
   -----------------+------------------+----------------
    test_tg_default | tg_version       | 1
    test_tg_default | table_num        | 1               
    test_tg_default | is_default_tg    | 1               
    test_tg_default | shard_count      | 3
    test_tg_default | replica_count    | 1
    test_tg_default | created_manually | 0
   (6 rows)

2. 查看当前数据库有哪些Table Group

   SELECT tablegroup_name
   FROM hologres.hg_table_group_properties GROUP BY tablegroup_name;

   结果：

   tablegroup_name
   -----------------
    test_tg_default
   (1 row)

3. 查看某Table Group设置的Shard数

   SELECT property_value AS shard_count
   FROM hologres.hg_table_group_properties
   WHERE property_key = 'shard_count' AND tablegroup_name ='<tg_name>';

   结果：

   shard_count
   -------------
    3
   (1 row)

4. 查看某Table Group下有哪些表

   SELECT table_namespace AS schema_name, table_name
   FROM hologres.hg_table_properties
   WHERE property_key = 'table_group' AND property_value = '<tg_name>';

   结果：

   schema_name | table_name
   -------------+------------
    public      | a
   (1 row)

5. 查看某张表所在的Table Group

   SELECT property_value AS table_group_name
   FROM hologres.hg_table_properties
   WHERE property_key = 'table_group' AND table_name = '<table_name>';

   结果：

   table_group_name
   ------------------
    test_tg_default
   (1 row)

新建Table Group

CALL HG_CREATE_TABLE_GROUP ('<new_tg_name>', <shard_count>);

-- 新建一个Shard数为8的新Table Group，命名为tg_8
CALL HG_CREATE_TABLE_GROUP ('tg_8', 8);

修改默认Table Group

新建一个数据库后，实例会有一个默认Table Group，以及默认的Shard数。详情请参见实例规格概述。若是数据库中有多个Table Group，想要修改默认Table Group，使得后续新建的表存放于新的Table Group中，可以使用如下命令语句。

CALL HG_UPDATE_DATABASE_PROPERTY ('default_table_group', '<tg_name>');

-- 将新创建TG设为默认Table Group，后续新建的表，将默认使用新的Table Group (v0.9以上）
CALL HG_UPDATE_DATABASE_PROPERTY ('default_table_group', 'tg_8');

将新建表放入指定Table Group

BEGIN;
CREATE TABLE table_name (
    col type,
  ....
);
CALL SET_TABLE_PROPERTY('table_name', 'table_group', '<tg_name>');
COMMIT;

-- 新建表tbl1并直接关联名为tg_8的Table Group
BEGIN;
CREATE TABLE tbl1 (
    col1 text
);
CALL SET_TABLE_PROPERTY('tbl1', 'table_group', 'tg_8');
COMMIT;

（Resharding）迁移表至新建Table Group

在Hologres中，Shard用于提升数据处理的并发度，合理的设置Shard数，有利于提高查询或者写入的性能。一般情况下，Hologres实例默认的shard数已经能满足大部分场景，无需再手动修改。

当实例扩容后，例如32core扩容到128core，该数据库的Shard数不会随着扩容默认更改，因此建议您针对该数据库增加Shard数，以获取更好的性能。如果是该实例下新建的DB，其Shard数为当前规格的默认数量。实例规格与Shard的相关描述，请参见实例规格概述。

当实例扩容或者缩容后，其之前DB的Shard数不会自动随之增加或减少，需要通过命令语句设置Shard数，并重新进行数据导入。Resharding功能用于修改Shard数后，自动实现Rebalance的功能，无需再重新建表导数据，即可将原来的表和数据Resharding到各Shard上，简化操作步骤，实现最优性能。

• 使用限制
  • 仅Hologres V0.10 及以上版本支持Resharding，请前往Hologres管控台的实例详情页查看当前实例版本，如果您的实例是V0.10以下版本，请您使用自助升级或加入实时数仓Hologres交流群（钉钉群号：32314975）申请升级实例。
  • 目前Resharding是单表级别，当使用Resharding时，需要停止该表的写入（如Flink、数据集成等写入），对表的查询不受影响。V1.1 版本开始，支持set table readonly，实时任务写入自动Failover。
  • Resharding会消耗CPU资源，且在Resharding过程中会导致存储增加，建议在业务低峰期处理。
  • 如果表开启了Binlog，请在Resharding之前关掉Binlog，待Resharding完成后再开启Binlog，详细操作请参见订阅Hologres Binlog。
  • 暂不支持表字段带有Serial自增序列以及Default值进行Resharding，带Serial字段的表在Resharding时会报错，带Default字段的表Resharding后会丢失Default属性。
  • 表在Resharding时不能有其他的依赖比如view等，若存在请在Resharding前删除相关依赖。
  • Resharding只适用简单模型，不适用于专家模型。
• 语法示例
  可以通过以下命令将业务的部分表迁移至新建的Table Group。

  说明

  • 在迁移之前，需要有一个新建的Table Group，若是没有新建Table Group，请参见新建Table Group进行新建。
  • 表迁移时需要停止对该表的写入，查询不受影响。
  • 原Table Group的表全部迁移后，原Table Group将会被自动删除。若是因为业务需求需要建立多个Table Group，建议合理设置每个Table Group的Shard数。
  • 表迁移时分区表只需要操作父表即可。

  -- V1.1及以上版本命令语法
  CALL HG_MOVE_TABLE_TO_TABLE_GROUP('<table_name>','<new_table_group_name>');
  
  -- V.10版本命令语法
  CALL HG_UPDATE_TABLE_SHARD_COUNT('<table_name>','<new_table_group_name>');

• 参数说明

  参数	说明	示例
  table_name	需要迁移的表名。一次命令仅支持单表迁移，若是有多个表，需要多次执行。分区表只需要操作父表即可。	new_table
  table_group_name	新的Table Group名。	new_tg

删除Table Group

CALL HG_DROP_TABLE_GROUP('<tg_name>');

--删除名为tg_8的Table Group
CALL HG_DROP_TABLE_GROUP('tg_8');

查看Shard与Worker的倾斜关系

Shard数与Worker个数存在一定的分配关系，详情请参见Shard与计算节点Worker的关系。如果Worker个数与Shard分配不均，那么很容易出现Worker资源倾斜，导致负载不均，资源得不到高效利用。因此在Hologres V1.3版本提供worker_info系统视图查询当前数据库的Worker、Table Group和Shard之间的关系，从而帮助排查解决倾斜问题，详细的Worker资源倾斜排查请参见查看Worker倾斜关系。

使用最佳实践

Table Group是比较高级的功能，一般情况下，不建议业务新建Table Group以及修改Shard数。若是因为业务有不同的需求，可以按照最佳实践合理规划，详情请参见Table Group设置最佳实践。

常见问题

Resharding是个比较复杂的过程，涉及到创建临时表、修改原始表只读状态、写入目标表、更换表名称和记录同步状态等多个环节，如果中间环节因为某些原因出现异常，可能造成系统状态不确定等问题，可通过以下方法进行排查。