测试结果参考

本文根据测试方案介绍中的场景,提供了相应的测试结果。

背景信息

本文的参考结果是针对Hologres公有云实例进行测试的结果。

测试所用的数据量及相关集群规格说明如下:

基于100GB数据集性能参考

  • 测试所用的数据量及相关集群规格说明如下:

    • 测试数据量说明:

      表名称

      表中包含的数据行数

      LINEITEM

      600,037,902

      ORDERS

      150,000,000

      PARTSUPP

      80,000,000

      PART

      15,000,000

      CUSTOMER

      20,000,000

      SUPPLIER

      1,000,000

      NATION

      25

      REGION

      5

    • 集群规则说明如下:

      计算资源

      可用区

      备注

      64 CU(CPU:64 Core,内存:256 GB)

      华东1(杭州)可用区J

      使用集群默认配置,Shard数量为40。

      128 CU(CPU:128 Core,内存:512 GB)

      华东1(杭州)可用区J

      使用集群默认配置,Shard数量为80。

  • 测试结果

    • 导入时间数据

      导入时间指将数据导入Hologres内表的时间,数据导入时间以秒(s)为单位。下表以64 CU计算资源为例,为您展示各类导入时间的具体数值。

      说明

      在使用COPY方法导入数据时,一张表对应一个数据文件,并未使用并发导入方式。

      表名

      数据行数

      数据量

      在公共网络下使用COPY方式导入

      在VPC网络下使用COPY方式导入

      使用MaxCompute外表导入

      LINEITEM

      600,037,902

      73.6 GB

      3,070.453

      694.364

      148.165

      ORDERS

      150,000,000

      16.4 GB

      691.060

      172.529

      37.741

      PARTSUPP

      80,000,000

      2.3 GB

      468.560

      107.092

      18.488

      PART

      20,000,000

      11.3 GB

      96.342

      24.020

      8.083

      CUSTOMER

      15,000,000

      2.3 GB

      95.190

      22.937

      10.363

      SUPPLIER

      1,000,000

      132 MB

      5.057

      1.803

      1.503

      NATION

      25

      2 KB

      0.580

      0.584

      0.747

      REGION

      5

      0.375 KB

      0.168

      0.153

      0.430

      ORDERS_ROW

      150,000,000

      16.4 GB

      717,653

      143.800

      25.676

      Total

      122.4 GB

      722,080.410

      1,167.282

      251.196

      导入时间图示如下图所示,图中蓝色为使用COPY方式在公网条件下导入数据的时间,绿色为使用COPY方式在VPC网络条件下导入数据的时间,灰色为使用MaxCompute外表方式导入的时间。其中纵坐标数值越低,表示导入速度越快。

      说明

      横轴:表名。纵轴:数据导入时间(s)。

      结合下图内容可以看出

      • 使用COPY方式导入本地文件数据时,由于网络带宽影响,使用VPC网络的导入数据时间明显短于使用公共网络的导入数据时间。

      • 使用MaxCompute导入数据时间明显短于使用COPY方式导入本地文件数据时间。

      导入时间图示

    • OLAP场景

      查询执行时间以秒(s)为单位,结果均基于Hologres内部表,具体数值如下所示。

      TPCH

      Query编号

      TPCH 100G

      TPCH 500G

      64 CU(2.2.19)

      128 CU(2.2.19)

      64 CU(2.2.19)

      128 CU(2.2.19)

      1

      0.55

      0.34

      5.61

      1.39

      2

      0.17

      0.15

      0.30

      0.23

      3

      0.38

      0.29

      3.70

      1.17

      4

      0.32

      0.19

      1.44

      0.68

      5

      0.68

      0.48

      4.92

      1.68

      6

      0.10

      0.08

      0.26

      0.15

      7

      0.55

      0.36

      2.32

      1.25

      8

      0.51

      0.38

      2.82

      0.95

      9

      1.62

      1.00

      11.16

      4.67

      10

      0.69

      0.47

      3.59

      1.91

      11

      0.37

      0.32

      1.27

      1.08

      12

      0.22

      0.15

      0.70

      0.38

      13

      0.67

      0.37

      3.35

      1.71

      14

      0.19

      0.13

      0.72

      0.39

      15

      0.36

      0.23

      1.59

      0.81

      16

      0.41

      0.33

      1.47

      0.79

      17

      0.22

      0.16

      3.54

      0.48

      18

      2.02

      0.94

      10.42

      5.35

      19

      0.25

      0.17

      1.38

      0.57

      20

      0.24

      0.27

      0.73

      0.56

      21

      1.03

      0.63

      6.24

      2.36

      22

      0.28

      0.22

      1.09

      0.77

      Total

      11.81

      7.64

      68.61

      29.34

      查询时间图示如下图所示,图中蓝色数据为64 CU的实例查询结果,绿色为128 CU实例的查询结果,均为r2.0.2版本的结果。其中纵坐标数值越低,表示TPC-H的性能越好。随着实例规模的成本增长,查询时间也在成线性下降趋势。

      说明

      横轴:query在文档中的编号。纵轴:query执行时间(s)。

      image

    • Key/Value点查场景

      结果均基于Hologres内部表,软件版本为 r1.1.42,每类查询均连续运行5分钟,Hologres具体数值如下所示。

      具体场景

      样例SQL

      实例规格

      并发客户端数量

      QPS(包含连接时间)

      QPS(不包含连接时间)

      平均查询延迟

      1

      SELECT  O_ORDERKEY
              ,O_CUSTKEY
              ,O_ORDERSTATUS
              ,O_TOTALPRICE
              ,O_ORDERDATE
              ,O_ORDERPRIORITY
              ,O_CLERK
              ,O_SHIPPRIORITY
              ,O_COMMENT
      FROM    public.orders_row
      WHERE   o_orderkey = {parameter}
      ;

      64CU

      500

      112,435

      112,443

      4.447 ms

      128CU

      1,000

      242,755

      242,772

      4.119 ms

      2

      SELECT  O_ORDERKEY
              ,O_CUSTKEY
              ,O_ORDERSTATUS
              ,O_TOTALPRICE
              ,O_ORDERDATE
              ,O_ORDERPRIORITY
              ,O_CLERK
              ,O_SHIPPRIORITY
              ,O_COMMENT
      FROM    public.orders_row
      WHERE   o_orderkey in
      (
          {parameter1},
          {parameter2},
          {parameter3},
          {parameter4},
          {parameter5},
          {parameter6},
          {parameter7},
          {parameter8},
          {parameter9}
      );

      64CU

      500

      27,632

      27,634

      18.094 ms

      128CU

      1,000

      90,086

      90,092

      11.100 ms

      由测试结果可以看出:随着实例规模的增长,QPS基本呈线性增长趋势。

    • 数据更新场景

      结果均基于Hologres内部表,软件版本 r1.1.42,每类查询均连续运行5分钟,Hologres具体数值如下所示。

      样例SQL

      实例规格

      并发客户端数量

      QPS(包含连接时间)

      QPS(不包含连接时间)

      平均查询延迟

      INSERT INTO public.orders_row(
          o_orderkey
          ,o_custkey
          ,o_orderstatus
          ,o_totalprice
          ,o_orderdate
          ,o_orderpriority
          ,o_clerk
          ,o_shippriority
          ,o_comment
      ) VALUES (
        {parameter}
        ,1
        ,'demo'
        ,1.1
        ,'2021-01-01'
        ,'demo'
        ,'demo'
        ,1
        ,'demo') 
      on conflict(o_orderkey) 
      do update set (
        o_orderkey
        ,o_custkey
        ,o_orderstatus
        ,o_totalprice
        ,o_orderdate
        ,o_orderpriority
        ,o_clerk
        ,o_shippriority
        ,o_comment
      )= ROW(excluded.*);

      64CU

      500

      92,006

      92,000

      5.435 ms

      128CU

      1,000

      191,761

      191,771

      5.215 ms

      由测试结果可以看出:随着实例规模的增长,QPS基本呈线性增长趋势。

基于1TB数据集性能参考

  • 测试所用的数据量及相关集群规格说明如下:

    • 测试数据量说明:

      表名称

      表中包含的数据行数

      数据量

      LINEITEM

      5,999,989,709

      752.27 GB

      ORDERS

      1,500,000,000

      167.11 GB

      PARTSUPP

      800,000,000

      114.45 GB

      PART

      150,000,000

      22.94 GB

      CUSTOMER

      200,000,000

      22.85 GB

      SUPPLIER

      10,000,000

      1.33 GB

      NATION

      25

      2.15 KB

      REGION

      5

      0.38 KB

    • 集群规则说明如下:

      计算资源

      存储容量

      备注

      96 CU

      (CPU:96 Core,内存:384 GB)

      1000 GB

      使用集群默认配置,Shard数量为60。

  • 测试结果:查询时间数据

    查询执行时间以秒(s)为单位,结果均基于Hologres内表,具体数值如下所示。

    TPCH Query编号

    查询耗时(r2.2.10)

    查询耗时(r3.0.5)

    1

    7.19

    8.47

    2

    0.42

    0.36

    3

    5.73

    5.77

    4

    4.95

    1.71

    5

    7.64

    7.65

    6

    0.37

    0.34

    7

    3.49

    3.56

    8

    6.33

    5.61

    9

    18.25

    16.83

    10

    6.62

    5.61

    11

    0.71

    2.33

    12

    0.87

    0.84

    13

    7.24

    5.78

    14

    0.97

    0.79

    15

    1.50

    2.27

    16

    1.49

    1.64

    17

    4.86

    4.64

    18

    17.91

    13.74

    19

    3.09

    3.00

    20

    1.17

    0.95

    21

    8.83

    7.20

    22

    1.91

    2.17

    Total

    111.53

    101.16

Flink实时数据写入场景性能参考

  • 数据集基本信息

    • Hologres实例规格

      计算资源

      软件版本

      备注

      64 CU(CPU:64 Core,内存:256 GB)

      r1.1.53

      使用集群默认配置,Shard数量为40。

    • Flink全托管规格

      引擎版本

      vvr-4.0.12-flink-1.13

      配置模式

      基础模式

      并发度

      15

      Job Manager CPU

      1

      Job Manager Memory

      1 Gi

      Task Manager CPU

      1

      Task Manager Memory

      6 Gi

  • 测试结果

    测试结果如下所示,可以看出从测试开始的2022年4月8日19:35至2022年4月8日19:50,RPS最大值为580,234,最小值为357,729测试结果测试结果2