本文根据测试方案介绍中的场景,提供了相应的测试结果。
背景信息
本文的参考结果是针对Hologres公有云实例进行测试的结果。
测试所用的数据量及相关集群规格说明如下:
基于100GB数据集性能参考
测试所用的数据量及相关集群规格说明如下:
测试数据量说明:
表名称
表中包含的数据行数
LINEITEM
600,037,902
ORDERS
150,000,000
PARTSUPP
80,000,000
PART
15,000,000
CUSTOMER
20,000,000
SUPPLIER
1,000,000
NATION
25
REGION
5
集群规则说明如下:
计算资源
可用区
备注
64 CU(CPU:64 Core,内存:256 GB)
华东1(杭州)可用区J
使用集群默认配置,Shard数量为40。
128 CU(CPU:128 Core,内存:512 GB)
华东1(杭州)可用区J
使用集群默认配置,Shard数量为80。
测试结果
导入时间数据
导入时间指将数据导入Hologres内表的时间,数据导入时间以秒(s)为单位。下表以64 CU计算资源为例,为您展示各类导入时间的具体数值。
说明在使用COPY方法导入数据时,一张表对应一个数据文件,并未使用并发导入方式。
表名
数据行数
数据量
在公共网络下使用COPY方式导入
在VPC网络下使用COPY方式导入
使用MaxCompute外表导入
LINEITEM
600,037,902
73.6 GB
3,070.453
694.364
148.165
ORDERS
150,000,000
16.4 GB
691.060
172.529
37.741
PARTSUPP
80,000,000
2.3 GB
468.560
107.092
18.488
PART
20,000,000
11.3 GB
96.342
24.020
8.083
CUSTOMER
15,000,000
2.3 GB
95.190
22.937
10.363
SUPPLIER
1,000,000
132 MB
5.057
1.803
1.503
NATION
25
2 KB
0.580
0.584
0.747
REGION
5
0.375 KB
0.168
0.153
0.430
ORDERS_ROW
150,000,000
16.4 GB
717,653
143.800
25.676
Total
122.4 GB
722,080.410
1,167.282
251.196
导入时间图示如下图所示,图中蓝色为使用COPY方式在公网条件下导入数据的时间,绿色为使用COPY方式在VPC网络条件下导入数据的时间,灰色为使用MaxCompute外表方式导入的时间。其中纵坐标数值越低,表示导入速度越快。
说明横轴:表名。纵轴:数据导入时间(s)。
结合下图内容可以看出:
使用COPY方式导入本地文件数据时,由于网络带宽影响,使用VPC网络的导入数据时间明显短于使用公共网络的导入数据时间。
使用MaxCompute导入数据时间明显短于使用COPY方式导入本地文件数据时间。
OLAP场景
查询执行时间以秒(s)为单位,结果均基于Hologres内部表,具体数值如下所示。
TPCH
Query编号
TPCH 100G
TPCH 500G
64 CU(2.2.19)
128 CU(2.2.19)
64 CU(2.2.19)
128 CU(2.2.19)
1
0.55
0.34
5.61
1.39
2
0.17
0.15
0.30
0.23
3
0.38
0.29
3.70
1.17
4
0.32
0.19
1.44
0.68
5
0.68
0.48
4.92
1.68
6
0.10
0.08
0.26
0.15
7
0.55
0.36
2.32
1.25
8
0.51
0.38
2.82
0.95
9
1.62
1.00
11.16
4.67
10
0.69
0.47
3.59
1.91
11
0.37
0.32
1.27
1.08
12
0.22
0.15
0.70
0.38
13
0.67
0.37
3.35
1.71
14
0.19
0.13
0.72
0.39
15
0.36
0.23
1.59
0.81
16
0.41
0.33
1.47
0.79
17
0.22
0.16
3.54
0.48
18
2.02
0.94
10.42
5.35
19
0.25
0.17
1.38
0.57
20
0.24
0.27
0.73
0.56
21
1.03
0.63
6.24
2.36
22
0.28
0.22
1.09
0.77
Total
11.81
7.64
68.61
29.34
查询时间图示如下图所示,图中蓝色数据为64 CU的实例查询结果,绿色为128 CU实例的查询结果,均为r2.0.2版本的结果。其中纵坐标数值越低,表示TPC-H的性能越好。随着实例规模的成本增长,查询时间也在成线性下降趋势。
说明横轴:query在文档中的编号。纵轴:query执行时间(s)。
Key/Value点查场景
结果均基于Hologres内部表,软件版本为 r1.1.42,每类查询均连续运行5分钟,Hologres具体数值如下所示。
具体场景
样例SQL
实例规格
并发客户端数量
QPS(包含连接时间)
QPS(不包含连接时间)
平均查询延迟
1
SELECT O_ORDERKEY ,O_CUSTKEY ,O_ORDERSTATUS ,O_TOTALPRICE ,O_ORDERDATE ,O_ORDERPRIORITY ,O_CLERK ,O_SHIPPRIORITY ,O_COMMENT FROM public.orders_row WHERE o_orderkey = {parameter} ;
64CU
500
112,435
112,443
4.447 ms
128CU
1,000
242,755
242,772
4.119 ms
2
SELECT O_ORDERKEY ,O_CUSTKEY ,O_ORDERSTATUS ,O_TOTALPRICE ,O_ORDERDATE ,O_ORDERPRIORITY ,O_CLERK ,O_SHIPPRIORITY ,O_COMMENT FROM public.orders_row WHERE o_orderkey in ( {parameter1}, {parameter2}, {parameter3}, {parameter4}, {parameter5}, {parameter6}, {parameter7}, {parameter8}, {parameter9} );
64CU
500
27,632
27,634
18.094 ms
128CU
1,000
90,086
90,092
11.100 ms
由测试结果可以看出:随着实例规模的增长,QPS基本呈线性增长趋势。
数据更新场景
结果均基于Hologres内部表,软件版本 r1.1.42,每类查询均连续运行5分钟,Hologres具体数值如下所示。
样例SQL
实例规格
并发客户端数量
QPS(包含连接时间)
QPS(不包含连接时间)
平均查询延迟
INSERT INTO public.orders_row( o_orderkey ,o_custkey ,o_orderstatus ,o_totalprice ,o_orderdate ,o_orderpriority ,o_clerk ,o_shippriority ,o_comment ) VALUES ( {parameter} ,1 ,'demo' ,1.1 ,'2021-01-01' ,'demo' ,'demo' ,1 ,'demo') on conflict(o_orderkey) do update set ( o_orderkey ,o_custkey ,o_orderstatus ,o_totalprice ,o_orderdate ,o_orderpriority ,o_clerk ,o_shippriority ,o_comment )= ROW(excluded.*);
64CU
500
92,006
92,000
5.435 ms
128CU
1,000
191,761
191,771
5.215 ms
由测试结果可以看出:随着实例规模的增长,QPS基本呈线性增长趋势。
基于1TB数据集性能参考
测试所用的数据量及相关集群规格说明如下:
测试数据量说明:
表名称
表中包含的数据行数
数据量
LINEITEM
5,999,989,709
752.27 GB
ORDERS
1,500,000,000
167.11 GB
PARTSUPP
800,000,000
114.45 GB
PART
150,000,000
22.94 GB
CUSTOMER
200,000,000
22.85 GB
SUPPLIER
10,000,000
1.33 GB
NATION
25
2.15 KB
REGION
5
0.38 KB
集群规则说明如下:
计算资源
存储容量
备注
96 CU
(CPU:96 Core,内存:384 GB)
1000 GB
使用集群默认配置,Shard数量为60。
测试结果:查询时间数据
查询执行时间以秒(s)为单位,结果均基于Hologres内表,具体数值如下所示。
TPCH Query编号
查询耗时(r2.2.10)
查询耗时(r3.0.5)
1
7.19
8.47
2
0.42
0.36
3
5.73
5.77
4
4.95
1.71
5
7.64
7.65
6
0.37
0.34
7
3.49
3.56
8
6.33
5.61
9
18.25
16.83
10
6.62
5.61
11
0.71
2.33
12
0.87
0.84
13
7.24
5.78
14
0.97
0.79
15
1.50
2.27
16
1.49
1.64
17
4.86
4.64
18
17.91
13.74
19
3.09
3.00
20
1.17
0.95
21
8.83
7.20
22
1.91
2.17
Total
111.53
101.16
Flink实时数据写入场景性能参考
数据集基本信息
Hologres实例规格
计算资源
软件版本
备注
64 CU(CPU:64 Core,内存:256 GB)
r1.1.53
使用集群默认配置,Shard数量为40。
Flink全托管规格
引擎版本
vvr-4.0.12-flink-1.13
配置模式
基础模式
并发度
15
Job Manager CPU
1
Job Manager Memory
1 Gi
Task Manager CPU
1
Task Manager Memory
6 Gi
测试结果
测试结果如下所示,可以看出从测试开始的2022年4月8日19:35至2022年4月8日19:50,RPS最大值为
580,234
,最小值为357,729
。