全文检索性能测试

测试环境准备

测试资源：

• Hologres：

  • 计算资源：48 CU

  • 版本：V4.1.6

  • 分片（Shard）数：6。如需增加计算节点数，建议对应线性增加分片数

• ECS：

  • 规格：ecs.c9i.16xlarge 或 ecs.g9i.16xlarge

  • 操作系统：Debian 13.2 64 位

环境准备：

• 准备 Hologres 实例

  • 购买Hologres实例 V4.1 版本实例并创建数据库。

  • 创建用户。具体操作，请参见用户管理。

• 准备 ECS 实例

  • 购买 ECS 实例。具体操作，请参见控制台快速购买并使用ECS实例。

  • 安装依赖

    # 更新 apt 缓存
    sudo apt update
    # 安装 PostgreSQL 客户端用于连接数据库
    sudo apt install -y postgresql-client

  • 数据集准备：从官方源下载并解压 http_logs 数据集：

    mkdir ~/data && cd ~/data
    wget https://rally-tracks.elastic.co/http_logs/documents-181998.json.bz2 && bunzip2 documents-181998.json.bz2
    wget https://rally-tracks.elastic.co/http_logs/documents-191998.json.bz2 && bunzip2 documents-191998.json.bz2
    wget https://rally-tracks.elastic.co/http_logs/documents-201998.json.bz2 && bunzip2 documents-201998.json.bz2
    wget https://rally-tracks.elastic.co/http_logs/documents-211998.json.bz2 && bunzip2 documents-211998.json.bz2
    wget https://rally-tracks.elastic.co/http_logs/documents-221998.json.bz2 && bunzip2 documents-221998.json.bz2
    wget https://rally-tracks.elastic.co/http_logs/documents-231998.json.bz2 && bunzip2 documents-231998.json.bz2
    wget https://rally-tracks.elastic.co/http_logs/documents-241998.json.bz2 && bunzip2 documents-241998.json.bz2

性能测试

本文性能测试过程，包括 Hologres 建表、数据导入、索引构建，均由 Hologres 研发的开源测试工具完成，无需手动处理。测试工具详见Git项目alibabacloud-hologres-benchmark。建表样例详见附录。

• 安装测试工具

  # 创建隔离环境
  sudo apt install -y python3-venv
  python3 -m venv .venv
  
  # 激活隔离环境
  source .venv/bin/activate
  python3 -m pip install -U pip
  
  # 安装依赖
  git clone https://github.com/aliyun/alibabacloud-hologres-benchmark
  cd alibabacloud-hologres-benchmark/fulltext_search/http_logs
  pip3 install -r requirements.txt

• 修改配置文件

  {
    "host": "<hologres_endpoint>",
    "port": <hologres_port>,
    "database": "<database_name>",
    "username": "<user_name>",
    "password": "<password>",
    "table_name": "http_logs"
  }

• 执行测试脚本

  cd alibabacloud-hologres-benchmark/fulltext_search/http_logs
  
  # 包含数据导入、查询 benchmark 全流程，如数据已存在，则跳过导入步骤
  python3 hologres_benchmark.py \
      --config config.json \
      --queries-config benchmark_queries.yaml \
      --data-dir ~/data

测试结果

结果总览

性能详情：下表展示了各查询的平均响应时间（单位：毫秒）。Hologres 在绝大多数简单查询（如 term、range）的平均响应时间都在 10 毫秒以内，在复杂的聚合（hourly_agg）和排序场景也可达到百毫秒级响应。

附录：Hologres 建表与索引构建

• Hologres 中创建测试表

  -- 创建新 Table Group，Shard 数设为 6
  CALL HG_CREATE_TABLE_GROUP ('tg_6', 6);
  
  -- 创建核心表
  CREATE TABLE http_logs (
    id BIGINT,
    "@timestamp" BIGINT NOT NULL,
    clientip TEXT,
    request TEXT,
    status INTEGER,
    size INTEGER
  ) WITH (
    table_group = 'tg_6',          -- 指定 Table Group
    bitmap_columns = 'status',     -- 对 status 列建立位图索引，加速等值/范围查询
    segment_key = '"@timestamp"',  -- 按时间戳分段，提升时间范围查询效率
    clustering_key = '"@timestamp"'-- 按时间戳聚簇存储，进一步优化范围扫描
  );

• ECS 中转换原始数据文件格式：Hologres 使用标准 COPY 协议进行高速数据导入，由于原始数据是 NDJSON 格式，导入 Hologres 前，建议先转换为 CSV

  python3 ndjson_to_csv.py ~/data ~/csv

• ECS 中执行转换后，使用 psql 的 COPY 命令导入数据

  # 设置环境变量
  export PGHOST=<hologres_endpoint>
  export PGPORT=<hologres_port>
  export PGUSER=<user_name>
  export PGPASSWORD='<password>'
  export PGDATABASE=<database_name>
  
  # COPY 导入数据到 Hologres
  cd ~/csv
  psql -c "COPY http_logs FROM STDIN WITH (FORMAT CSV)" < documents-181998.csv
  psql -c "COPY http_logs FROM STDIN WITH (FORMAT CSV)" < documents-191998.csv
  psql -c "COPY http_logs FROM STDIN WITH (FORMAT CSV)" < documents-201998.csv
  psql -c "COPY http_logs FROM STDIN WITH (FORMAT CSV)" < documents-211998.csv
  psql -c "COPY http_logs FROM STDIN WITH (FORMAT CSV)" < documents-221998.csv
  psql -c "COPY http_logs FROM STDIN WITH (FORMAT CSV)" < documents-231998.csv
  psql -c "COPY http_logs FROM STDIN WITH (FORMAT CSV)" < documents-241998.csv

• Hologres 中构建全文索引：针对 request 字段创建全文倒排索引

  -- 创建全文索引
  CREATE INDEX http_logs_request_idx
    ON http_logs
    USING FULLTEXT (request)
    WITH (tokenizer = 'keyword');
  
  -- 执行索引全量构建
  VACUUM http_logs;