Hologres索引入门

TPC-H Q1 Query

TPC-H Q1主要是对lineitem表的部分字段做聚合查询和过滤筛选。其中：

l_shipdate <= ：过滤查询。需要设置索引以支持范围过滤，可快速过滤出所需数据。

--TPC-H Q1
SELECT
        l_returnflag,
        l_linestatus,
        SUM(l_quantity) AS sum_qty,
        SUM(l_extendedprice) AS sum_base_price,
        SUM(l_extendedprice * (1 - l_discount)) AS sum_disc_price,
        SUM(l_extendedprice * (1 - l_discount) * (1 + l_tax)) AS sum_charge,
        AVG(l_quantity) AS avg_qty,
        AVG(l_extendedprice) AS avg_price,
        AVG(l_discount) AS avg_disc,
        COUNT(*) AS count_order
FROM
        lineitem
WHERE
        l_shipdate <= DATE '1998-12-01' - INTERVAL '120' DAY
GROUP BY
        l_returnflag,
        l_linestatus
ORDER BY
        l_returnflag,
        l_linestatus;

TPC-H Q4 Query

TPC-H Q4主要是对lineitem和orders表进行关联查询。其中：

• o_orderdate >= DATE '1996-07-01'：过滤查询。需要设置索引以支持范围过滤，可快速过滤出所需数据。

• l_orderkey = o_orderkey：两表JOIN。需要为两个表设置同一个索引，最好能进行Local JOIN，以减少数据在两表交互时的Shuffle操作。

  --TPC-H Q4 Query
  SELECT
          o_orderpriority,
          COUNT(*) AS order_count
  FROM
          orders
  WHERE
          o_orderdate >= DATE '1996-07-01'
          AND o_orderdate < DATE '1996-07-01' + INTERVAL '3' MONTH
          AND EXISTS (
                  SELECT
                          *
                  FROM
                          lineitem
                  WHERE
                          l_orderkey = o_orderkey
                          AND l_commitdate < l_receiptdate
          )
  GROUP BY
          o_orderpriority
  ORDER BY
          o_orderpriority;

hologres_dataset_tpch_100g.lineitem

Q1和Q4中均涉及对lineitem表的查询，其中使用的字段和查询条件不同。

• 对于Q1 Query：主要用l_shipdate做范围过滤筛选。clustering_key可以利用文件内的有序性加速范围过滤，因此我们可将l_shipdate设置为Clustering Key。segment_key（event_time_column）用于保持文件间的有序性，对于单调递增/递减的日期字段，也建议设置为Segment Key，可以有效进行文件层过滤，因此也可将l_shipdate设置为Segment Key。

• 对于Q4 Query ：主要用lineitem表的l_orderkey字段与orders表的o_orderkey字段进行关联查询（JOIN）。distribution_key用于指定数据的分布策略，系统会根据distribution_key，将相同的数据存放在同一个Shard上，当两张表在同一个Table Group内，并且JOIN的字段是Distribution Key时，在进行数据写入时，会自动将两张表重相同Key的记录分发到同一个Shard上，当表进行JOIN时，只需要在当前节点进行Local JOIN，无需按照JOIN Key进行数据Shuffle，避免了运行时数据打散和重分发，可以显著提高执行效率。因此，我们将l_orderkey设置为Distribution Key。

• 最终lineitem表的表结构如下：

  BEGIN;
  CREATE TABLE hologres_dataset_tpch_100g.lineitem
  (
      l_ORDERKEY      BIGINT      NOT NULL,
      L_PARTKEY       INT         NOT NULL,
      L_SUPPKEY       INT         NOT NULL,
      L_LINENUMBER    INT         NOT NULL,
      L_QUANTITY      DECIMAL(15,2) NOT NULL,
      L_EXTENDEDPRICE DECIMAL(15,2) NOT NULL,
      L_DISCOUNT      DECIMAL(15,2) NOT NULL,
      L_TAX           DECIMAL(15,2) NOT NULL,
      L_RETURNFLAG    TEXT        NOT NULL,
      L_LINESTATUS    TEXT        NOT NULL,
      L_SHIPDATE      TIMESTAMPTZ NOT NULL,
      L_COMMITDATE    TIMESTAMPTZ NOT NULL,
      L_RECEIPTDATE   TIMESTAMPTZ NOT NULL,
      L_SHIPINSTRUCT  TEXT        NOT NULL,
      L_SHIPMODE      TEXT        NOT NULL,
      L_COMMENT       TEXT        NOT NULL,
      PRIMARY KEY (L_ORDERKEY,L_LINENUMBER)
  )
  WITH (
      distribution_key = 'L_ORDERKEY',--在join时可以实现local join
      clustering_key = 'L_SHIPDATE',--加速范围过滤
      event_time_column = 'L_SHIPDATE'--加速文件裁剪
    );
  COMMIT;

hologres_dataset_tpch_100g.orders

本示例中，orders表参与Q4 Query的计算。

• 将orders表的o_orderkey字段设置为Distribution Key，可有效利用Local JOIN的能力，提升关联（JOIN）查询的效率。

• o_orderdate字段主要用于日期字段的过滤查询，所以将其设置为Segment Key，加速文件的裁剪。

• 最终orders表的表结构如下：

  BEGIN;
  CREATE TABLE hologres_dataset_tpch_100g.orders
  (
      O_ORDERKEY      BIGINT      NOT NULL PRIMARY KEY,
      O_CUSTKEY       INT         NOT NULL,
      O_ORDERSTATUS   TEXT        NOT NULL,
      O_TOTALPRICE    DECIMAL(15,2) NOT NULL,
      O_ORDERDATE     timestamptz NOT NULL,
      O_ORDERPRIORITY TEXT        NOT NULL,
      O_CLERK         TEXT        NOT NULL,
      O_SHIPPRIORITY  INT         NOT NULL,
      O_COMMENT       TEXT        NOT NULL
  )
  WITH (
      distribution_key = 'O_ORDERKEY',--在join时可以实现local join
      event_time_column = 'O_ORDERDATE'--加速文件裁剪
    );
  COMMIT;