RDS+ClickHouse构建一站式HTAP

网络规划

请参考表格中的说明和方案默认示例值为每个规划项做详细规划并在实际部署时将默认示例值修改为您的实际规划。

规划云资源

请参考表格中的说明和方案默认示例值为每个规划项做详细规划并在实际部署时将默认示例值修改为您的实际规划。

1. 创建专有网络VPC和交换机

1. 登录专有网络管理控制台。

2. 在顶部菜单栏，选择华东2（上海）地域。

3. 在左侧导航栏，单击专有网络。

4. 在专有网络页面，单击创建专有网络。

5. 在创建专有网络页面，按照网络规划配置1个专有网络和1台交换机，然后单击确定。配置交换机时，请确保交换机所属的可用区的ECS、RDS、ClickHouse等资源是可用状态。

   项目	说明	示例值
   专有网络
   名称	建议您在部署过程中新建一个VPC作为本方案的专有网络。部署过程中填写VPC名称即可创建对应名称的VPC。 长度为2~128个字符，以英文大小字母或中文开头，可包含数字、下划线（_）和连字符（-）。	vpc_rdsmysql2ck
   IPv4网段	在创建VPC时，您必须按照无类域间路由块（CIDR block）的格式为您的专有网络划分私网网段。阿里云VPC支持的网段信息请参见专有网络组成部分。 在网络规划时可以按照管理网段-开发网段-测试网段-生产网段等规则做好规划。网段一旦投入使用，调整过程复杂，因此规划十分重要。	192.168.0.0/16
   交换机
   名称	建议您在部署过程中在新建的VPC内创建虚拟交换机。部署过程中填写交换机名称即可创建对应名称的虚拟交换机。 长度为2~128个字符，以英文大小字母或中文开头，可包含数字、下划线（_）和连字符（-）。	vsw_rdsmysql2ck
   可用区	在规划的地域内选择2个可用区，2台虚拟交换机分别部署在2个可用区。 建议选择排序靠后的，一般此类可用区较新。新可用区资源更充沛，新规格也会在新的可用区优先上线。	可用区 G

2. 创建云数据库RDS MySQL

1. 登录云数据库 RDS 管理控制台。

2. 在顶部菜单栏，选择华东2（上海）地域。

3. 在左侧导航栏，单击实例列表。

4. 在实例列表页面中，单击创建实例，按照如下规划配置 RDS MySQL 相关的配置项。

   项目	说明	示例值
   计费方案	本方案以按量付费为例。	按量付费
   地域	本方案以华东2（上海）地域为例。	华东2（上海）
   类型	本方案以MySQL 8.0为例。	MySQL 8.0
   产品系列	为保证实例的高可用性，本方案选择高可用版本。选择高可用版本或者集群版本等，请参见如何选择系列。	高可用版
   架构	云数据库RDS MySQL版实例的CPU架构支持ARM和X86架构，选择架构请参见如何选择架构。	X86
   存储类型	云数据库RDS MySQL版实例支持多种不同的存储类型，选择存储类型请参见如何选择存储类型	ESSD PL1云盘
   主节点可用区	选择RDS MySQL实例部署主节点所在的可用区。	上海 可用区G
   部署方案	选择RDS MySQL实例部署方案，可以选择多可用区部署或者单可用区部署。	单可用区部署
   实例规格	选择RDS MySQL实例的规格，RDS MySQL支持各种不同的规格，请参见如何选择实例规格。	分类：独享规格 规格代码：mysql.x4.medium.2c
   存储空间	选择RDS MySQL实例的存储空间，请参见存储空间与自动扩展。	100GB
   VPC	选择之前规划的专有网络VPC及交换机。
   主节点交换机
   加入白名单	将VPC网段加入到RDS实例白名单中，使得同一VPC下的ECS实例可以访问RDS实例。	是

5. 单击确认订单，根据提示完成购买。

3. 创建云数据库ClickHouse

1. 登录云数据库 ClickHouse 管理控制台。

2. 在顶部菜单栏，选择华东2（上海）地域。

3. 在左侧导航栏，单击集群列表。

4. 在默认实例列表页面中（注意：本方案不支持云原生版本实例列表），单击新建集群，按照如下规划配置云数据库 ClickHouse 相关的配置项。

   项目	说明	示例值
   商品类型	云数据库 ClickHouse 实例的计费方式。 云数据库 ClickHouse 计费的详细信息请参见云ClickHouse计费方式概述。	按量付费
   地域和可用区	选择实例部署的地域和可用区。	华东2（上海）
   专有网络（VPC）	选择之前规划的专有网络VPC。
   主可用区	选择实例部署可用区。	上海 可用区G
   主专有网络交换机	选择之前规划的交换机。
   内核版本	选择Redis实例的内核版本。	22.8
   规格类型	标准规格实例基于云盘存储，数据存储默认具有多副本，支持实例的升降配和扩容，数据安全性和资源弹性灵活度更高。	标准规格
   规格	云数据库 ClickHouse 实例规格信息。关于云数据库 ClickHouse 规格列表和定价请参见云ClickHouse规格说明。	标准型 8核 32GB
   存储类型	ESSD盘或者高效云盘，推荐ESSD盘。	ESSD PL1云盘（推荐）
   加密类型	选择是否进行云盘加密。	不加密
   存储空间	存储容量。	100 GB
   节点数量	云数据库 ClickHouse 实例节点数量	1

5. 单击确认订单，根据提示完成购买。

1. 创建RDS MySQL用户账号

1. 登录云数据库 RDS 管理控制台。

2. 在顶部菜单栏，选择华东2（上海）地域。

3. 在左侧导航栏，单击实例列表。

4. 在实例列表页面中，找到上述步骤中创建出来的 RDS MySQL 实例，单击实例ID进入实例详情控制台。

5. 在控制台实例详情页，在左侧导航栏中，单击账号管理。

6. 在用户账号标签页中，单击创建账号按钮，填写相应的账号信息（数据库账号、账号类型、密码信息）。

2. 创建云ClickHouse用户账号

1. 登录云数据库 ClickHouse 管理控制台。

2. 在顶部菜单栏，选择华东2（上海）地域。

3. 在左侧导航栏，单击集群列表。

4. 在集群信息页面中，找到上述步骤中创建出来的云数据库 ClickHouse 实例，单击集群ID进入实例详情控制台。

5. 在控制台实例详情页，在左侧导航栏中，单击账号管理。

6. 在用户账号标签页中，单击创建账号按钮，填写相应的账号信息（数据库账号、账号类型、密码信息），建议创建高权限账号。

1. 准备数据程序

准备数据写入程序，用于模拟向RDS MySQL数据库实例的库表对象写入数据，也可以采用日常业务应用系统连接到数据库进行增删改查等操作。举例：下载并且编译tpcc-mysql压测程序（找到一个客户端环境，比如 ECS服务器 等）

2. 创建库表对象

1. 创建数据库：连接 RDS MySQL 数据库，并创建数据库对象，比如 tpcc 数据库，参考命令如下：

   # 连接数据库
   mysql -h <connection_string> -P 3306 -u <user> -p<password> -e "CREATE DATABASE IF NOT EXISTS tpcc;"

2. 创建表结构：连接 RDS MySQL 数据库，并创建表对象（表结构、索引、外检约束等），比如通过上述下载的 tpcc-mysql 工具创建相关的库表对象，参考命令如下：

   mysql -h <connection_string> -P 3306 -u <user> -p<password> -D tpcc < tpcc-mysql/create_table.sql
   mysql -h <connection_string> -P 3306 -u <user> -p<password> -D tpcc < tpcc-mysql/add_fkey_idx.sql

3. 启动TPCC程序

1. 向数据库加载测试数据，比如通过上述下载的 tpcc-mysql 工具中的 tpcc_load 工具，参考命令行如下：

   tpcc-mysql/tpcc_load -h <connection_string> -P <port> -d <database> -u <user> -p <password> -w <warehouse>

   示例：

   tpcc-mysql/tpcc_load -h <rds2ck_demo>.mysql.rds.aliyuncs.com -P 3306 -d tpcc -u <user> -p <password> -w 10

   参数说明：

   • <database> 表示数据库名称，上面的步骤中我们定义为 tpcc 。

   • <warehouse> 表示 warehouse 的数量，比如我们设置为 10。

2. 启动 TPCC 性能负载压测，比如通过上述下载的 tpcc-mysql 工具中的 tpcc_start 工具，参考命令行如下：

   tpcc-mysql/tpcc_start -h <connection_string> -P 3306 -d tpcc -u <user> -p <password> -w <warehouse> -c <connections> -r <warmup_time> -l <running_time> -i <report_interval>

   示例：

   tpcc-mysql/tpcc_start -h <rds2ck_demo>.mysql.rds.aliyuncs.com -P 3306 -d tpcc -u <rds2ck_demo> -p <password> -w10 -c 100 -r 180 -l 600 -i 1 

   参数说明：

   • 可以使用 tpcc-mysql/tpcc_start --help 来查看每一个命令行参数的说明。

   • <warehouse> 表示 warehouse 的数量，比如设置为 10。

   • <connections> 表示客户端的数量，比如设置为100。

   • <warmup_time> 表示 TPCC 程序压测时的预热时间，单位是秒。

   • <running_time> 表示 TPCC 程序压测的持续时间，单位是秒。

   • <report_intervel> 表示 TPCC 程序每隔多久（秒）打印一次信息。

1. 登录云ClickHouse实例

1. 登录云数据库 ClickHouse 管理控制台。

2. 在顶部菜单栏，选择华东2（上海）地域。

3. 在左侧导航栏，单击集群列表。

4. 在集群信息页面中，找到上述步骤中创建出来的云数据库 ClickHouse 实例，单击右上角按钮登录数据库可以进入DMS界面。

5. 进入DMS窗口后，填写需要登录的云数据库 ClickHouse 实例的相关信息（实例ID、账号密码等）。

6. 除了DMS，也可以通过 clickhouse-client 命令行的方式登录云数据库 ClickHouse 数据库进行查询分析。

2. 查询表数据

1. 由于 MySQL 和 ClickHouse 之间的同步原理是基于 MaterializedMySQL 数据库引擎的机制实现同步的，在ClickHouse中的表采用的是 ReplicatedReplacingMergeTree 引擎。故表结构会新增两个额外的字段：_sign 和 _version。其中：

   • _sign 字段：对于源端 insert 操作，此字段的值为1；对于源端 delete 操作，此字段的值为-1。

   • _version 字段：此字段的值用来表示操作的顺序，每次 insert、update 和 delete 操作，此字段的值都会增加；

2. 基于上面的 MySQL 和 ClickHouse 之间的数据同步原理，由于可能存在 MySQL 和 ClickHouse 之间数据同步延迟的情况，故在 ClickHouse 端进行数据查询和分析时，需要特别注意数据一致性的问题，要想查询最新的数据，有如下两种方法：

   • 使用 ClickHouse 的 FINAL 关键字：在 ClickHouse 中 FINAL 关键字可以用于获取已经合并的数据（但是使用 FINAL 关键字会增加消耗查询的计算资源），比如可以使用如下的语句进行查询：

     SELECT w_id, w_name, w_street_1, w_street_2, w_city, w_state, w_zip, w_tax, w_ytd
     FROM tpcc.warehouse FINAL
     WHERE _sign = 1;

   • 通过 order by + group by 配合_version&_sign 的方式来获取最新数据：比如可以使用如下的语句进行查询：

     SELECT
         w_id,
         w_name,
         w_street_1,
         w_street_2,
         w_city,
         w_state,
         w_zip,
         w_tax,
         w_ytd
     FROM tpcc.warehouse
     WHERE (_sign = 1) AND ((w_id, _version) GLOBAL IN (
         SELECT
             w_id,
             max(_version)
         FROM tpcc.warehouse
         GROUP BY w_id
     ))