一站式HTAP服务

步骤一：设置WAL日志等级

在使用一站式HTAP功能前，请先设置wal_level参数为logical，否则无法在OLTP和OLAP引擎之间同步数据。

步骤二：增加分析节点

在使用一站式HTAP功能前，需要为PolarDB集群添加至少两个分析节点。分析集群的计算能力将随着分析节点数量的增加线性提升。

1. 登录PolarDB控制台。

2. 在控制台左上角，选择集群所在地域。

3. 您可以按照如下两种方式进入增删节点向导页面。

   • 找到目标集群，在操作列单击增删节点。

   • 找到目标集群，单击集群ID，进入基本信息页面，在数据库节点区域单击增删节点。

4. 选中增加分析节点并单击确定。

   

5. 选择分析节点规格，并设置分析节点数量。

   说明

   • 分析节点的规格无需与主节点规格保持一致，但分析节点之间其规格需要保持一致。例如，若您已添加2个4C16G的分析节点，若还需添加分析节点，其规格必须为4C16G。

   • 您无需选择其存储空间大小，将根据具体数据的存储用量进行自动扩缩容。

6. 勾选服务协议，单击立即购买。

7. 在支付页面确认订单信息，单击支付。

步骤三：开启HTAP功能

在连接到数据库集群后，使用高权限用户执行以下命令，创建polar_htap_db插件。

CREATE EXTENSION IF NOT EXISTS polar_htap_db;

该插件会提供三个函数，分别用于打开、查询、关闭当前数据库的HTAP功能。

开启HTAP功能

执行以下命令，使用polar_htap_db.enable_htap()函数开启当前数据库的HTAP功能。

SELECT polar_htap_db.enable_htap();

该函数会使当前数据库的HTAP状态从初始的disable状态变为init状态：

 enable_htap
-------------

(1 row)

查询HTAP状态

后台服务会自动响应当前数据库开启HTAP功能的请求，在OLAP引擎上建立相同的数据库，并拉起一个空的同步链路，然后修改HTAP状态。当HTAP状态变为ready时，表示当前数据库的HTAP功能已经开启完毕，HTAP功能可以正常使用。

执行以下命令，使用polar_htap_db.get_htap_status()函数查看当前数据库的HTAP状态。

SELECT polar_htap_db.get_htap_status();

显示结果如下：

 get_htap_status
-----------------
 ready
(1 row)

（可选）关闭HTAP功能

执行以下命令，使用polar_htap_db.disable_htap()函数关闭当前数据库的HTAP功能。

SELECT polar_htap_db.disable_htap();

该函数会使当前数据库的HTAP状态变为cleanup，后台服务将会自动响应，对当前数据库在OLAP引擎上的数据副本和内置同步链路进行清理。清理完毕后，当前数据库的HTAP状态会恢复为disable：

 disable_htap
--------------

(1 row)

步骤四：创建HTAP表

创建HTAP表

在数据库的HTAP状态为ready后，您可以自行选择将这个数据库中的一部分表迁移同步到OLAP引擎上，以便后续进行分析查询。

执行以下命令，开启一张表的HTAP功能。

ALTER TABLE table1 SET (polar_htap=true);

在执行完上述命令后，内置同步链路会自动把这张表的全量数据迁移转换到OLAP引擎上，并自动同步对该表的后续增量修改。

查询HTAP表状态

执行以下命令，查询当前数据库中所有的HTAP表，以及它们各自的同步状态。

SELECT * FROM polar_htap.htap_tables;

显示结果如下：

  oid  | relschema | relname  | relkind | dist_policy | dist_cols | sync_timeout | sync_status |        sync_start_time        |         sync_end_time         |  sync_duration  | synced_tuples | total_tuples | sync_percentage | table_size
-------+-----------+----------+---------+-------------+-----------+--------------+-------------+-------------------------------+-------------------------------+-----------------+---------------+--------------+-----------------+-------------
 17572 | public    | table1   | r       | p           | 1         |            0 | sync        | 2023-07-18 14:07:57.738061+00 | 2023-07-18 14:09:22.472374+00 | 00:01:24.734313 |             0 |        1e+06 |             100 |    37789696
 17305 | public    | lineitem | r       | p           | 1 4       |            0 | loading     | 2023-07-19 06:11:18.557619+00 |                               |                 |     600037902 |  5.99977e+08 |             100 | 92224692224
(2 row)

各列含义如下：

• oid：表 OID

• relschema：表所属 schema 的名称

• relname：表名

• relkind：表类型

• dist_policy/dist_cols：表在 OLAP 引擎上的分布模式和分布列

• sync_status：表数据的同步状态

• sync_start_time：表数据同步的开始时间

• sync_end_time：表数据同步的结束时间

• sync_duration：表数据同步的持续时间

• synced_tuples：表中已被同步的元组数量

• total_tuples：表中的元组总量（估算值）

• sync_percentage：表的数据同步进度百分比

• table_size：表大小

当table1表数据的同步状态sync_status变为sync时，表示这张表在OLAP引擎上的数据已经与OLTP存储引擎一致，具备进行HTAP查询的前提。

（可选）删除HTAP表

执行以下命令，删除HTAP表。

ALTER TABLE table1 RESET (polar_htap);

上述命令执行完成后，该表在OLAP引擎上的副本会被完全移除。后续如果将这张表重新设置为HTAP表，需要重新进行全量数据的同步。

步骤五：开启HTAP查询

当查询中引用的所有表全都是HTAP表，且这些HTAP表的同步状态都为sync后（可通过查询HTAP表状态查看所有HTAP表的同步状态），即可开启HTAP查询。

ALTER DATABASE xxx SET polar_htap.enable_htap_query = ON;

ALTER ROLE xxx SET polar_htap.enable_htap_query = ON;

SET polar_htap.enable_htap_query = ON;

SELECT * FROM table1;

NOTICE: Query is under HTAP execution...

（可选）关闭HTAP查询

执行以下命令，关闭HTAP查询。

SET polar_htap.enable_htap_query = OFF;

步骤六：设置查询一致性

在的一站式HTAP服务中，OLTP引擎（PolarDB）和OLAP引擎上分别保存了一份数据，两份数据的一致性受到内置同步链路延迟的影响。

提供了数据查询一致性的设置方法，您可通过polar_htap.forward_replay_wait和polar_htap.forward_replay_wait_lsn_diff参数对两份数据的一致性进行把控：

1. 若您对两份数据的一致性有强一致的需求：

   在进行HTAP查询时，PolarDB默认启用了polar_htap.forward_replay_wait参数，以及polar_htap.forward_replay_wait_lsn_diff参数默认取值为0。此时只有当OLAP引擎已经回放到当前查询的LSN位点时，才会将查询路由到OLAP引擎上执行，从而保证查询结果的强一致性。

   此时您只需要保持这两个参数的默认设置，即可达到强一致的目的。

2. 若能够容忍在一段时间范围以内的不一致性，则可在polar_htap.forward_replay_wait参数为开启状态下，设置polar_htap.forward_replay_wait_lsn_diff参数，指定OLTP引擎与OLAP引擎之间可以进行查询路由的最大LSN位点差距：

   • 当OLAP引擎与OLTP引擎的LSN位点小于该差距时，查询将会被立刻路由到OLAP引擎上执行；

   • 否则，将会等待OLAP引擎回放到小于这个位点差距后，再进行查询路由。

   => SET polar_htap.forward_replay_wait = ON;
   => SET polar_htap.forward_replay_wait_lsn_diff = 8192;
   => SELECT * FROM test_2;
   NOTICE: Query is under HTAP execution...
   ...

3. 若无需保证查询结果的强一致性，则可以关闭polar_htap.forward_replay_wait参数，使当前会话中执行HTAP查询时无需等待OLAP引擎的回放进度，立刻将查询路由到OLAP引擎：

   => SET polar_htap.forward_replay_wait = OFF;
   => SELECT * FROM test_2;
   NOTICE: Query is under HTAP execution...
   ...
   

步骤七：查看增量同步状态

通过查询以下视图可以查询到同步链路的增量同步状态。

SELECT * FROM polar_htap.htap_replication_status;
-[ RECORD 1 ]-------+------------------------------------------------
slot_name           | dts_sync_i2a1165s14xy091
active              | t
wal_status          | reserved
restart_lsn         | 0/BFB096F8
confirmed_flush_lsn | 0/BFC48C88
current_insert_lsn  | 1/DD220A8
apply_lsn           | 0/C74711D8
apply_latency_size  | 1129 MB
apply_latency_time  | 00:00:27.393406
sync_update_time    | 2023-11-17 07:25:58.319876+00
sync_status         | {"last_commit_time": "2023-11-17 15:25:31+08"}

视图各列含义如下表所示：