IMCI与Elasticsearch技术对比分析

部署与导入数据至PolarDB列存索引（IMCI）

以下步骤将指导您在PolarDB中准备数据并创建用于全文检索的列存索引（IMCI）。

1. 创建初始数据表：由于数据集中存在少量与MySQL JSON类型不兼容的记录，首先使用VARCHAR类型来存储原始日志。

   CREATE TABLE http_logs(
     logs VARCHAR(4096)
   );

2. 导入原始数据：解压下载的数据文件，然后使用LOAD DATA命令将数据导入到http_logs表中。

   # 解压所有 .bz2 文件
   bunzip2 *.json.bz2

   -- 登录到 PolarDB 数据库后执行
   LOAD DATA LOCAL INFILE '/path/to/your/documents-xxx.json'
   INTO TABLE http_logs
   COLUMNS TERMINATED BY '\n';

3. 创建列存索引与倒排索引：为实现高性能分析，需要添加列存索引（IMCI）并为request字段创建倒排索引。

   1. 添加虚拟列以提取request字段：通过虚拟列，在不改变原始数据的情况下，动态提取每条日志中的request字段。

      ALTER TABLE http_logs
      ADD COLUMN request VARCHAR(1024) AS (
        CASE
          WHEN JSON_VALID(logs) THEN (JSON_UNQUOTE(JSON_EXTRACT(logs, '$.request')))
          ELSE NULL
        END
      );

   2. 为表添加列存索引并创建倒排索引：通过修改表和列的COMMENT，您可以为表开启IMCI并为request列创建倒排索引。

      -- 步骤一：为表添加列存索引
      ALTER TABLE http_logs COMMENT 'columnar=1';
      
      -- 步骤二：为 request 列创建倒排索引
      ALTER TABLE http_logs
      MODIFY COLUMN request VARCHAR(1024) AS (
        CASE 
          WHEN json_valid(logs) THEN (json_unquote(json_extract(logs, '$.request'))) 
          ELSE NULL 
        END
      )
      COMMENT 'imci_fts(type=2 mode=1 pack_cnt_max=2048)';

4. 验证索引状态：您可以通过以下命令查看列存数据块的构建进度和倒排索引的构建进度。当NEXT_PACK_ID的值接近NUM_PACKS时，表示索引构建已基本完成。

   -- 查看列存数据块的构建状态
   SHOW IMCI INDEXES;
   
   -- 查看倒排索引的构建状态
   SHOW IMCI INDEXES FULLTEXT;

部署与导入数据至Elasticsearch

pip3 install esrally
esrally --offline --pipeline=benchmark-only --track=http_logs --challenge=append-no-conflicts-index-only --target-hosts=127.0.0.1:9200 --track-params="number_of_shards:1,number_of_replicas:0"

1. 创建索引：首先，在Elasticsearch中创建一个名为http_logs的索引，并定义字段映射。这里将request字段类型设置为match_only_text以优化纯文本搜索。

   重要

   在创建新索引之前，会先删除所有可能存在的旧索引。如果您的业务中存在同名索引，请务必手动更换索引名称。

   # 删除可能存在的旧索引（请注意，这并非您的业务索引）
   curl -X DELETE 'http://127.0.0.1:9200/http_logs'
   
   # 创建新索引并定义 Mapping
   curl -X PUT 'http://127.0.0.1:9200/http_logs' -H 'Content-Type: application/json' --data-binary '
   {
     "settings": { "number_of_shards": 1, "number_of_replicas": 0 },
     "mappings": {
       "properties": {
         "@timestamp": { "type": "date" },
         "message": { "type": "keyword", "index": false, "doc_values": false },
         "clientip": { "type": "ip" },
         "request": { "type": "match_only_text" },
         "status": { "type": "integer" },
         "size": { "type": "integer" },
         "geoip" : { "properties" : { "country_name": { "type": "keyword" }, "city_name": { "type": "keyword" }, "location" : { "type" : "geo_point" } } }
       }
     }
   }'

2. 准备数据并导入：由于Elasticsearch的Bulk API有单次请求的大小限制，需要先将原始JSON文件处理成NDJSON格式，并分割成多个小文件，然后分批导入。

   1. 合并与分割文件：将所有解压后的JSON文件合并为一个大文件，然后按每1000万行分割成多个部分。

      # 合并所有 JSON 文件
      cat documents-*.json > documents-merged.json
      
      # 按 1000 万行分割
      split -l 10000000 -d documents-merged.json documents-merged-part-

   2. 转换为Bulk格式 (NDJSON)：为每个分割后的文件添加 Bulk API 所需的元数据头部。

      for f in documents-merged-part-*; do
        awk '{ print "{ \"index\" : {\"_index\":\"http_logs\"} }"; print }' $f > $f.ndjson
      done

3. 执行批量导入：循环调用Bulk API，将所有*.ndjson文件导入Elasticsearch。

   for f in documents-merged-part-*.ndjson; do
     curl -s -o /dev/null -w "%{http_code}\n" -H 'Content-Type: application/x-ndjson' -X POST 'http://127.0.0.1:9200/http_logs/_bulk' --data-binary @$f
   done

4. 刷新并验证数据：导入完成后，手动刷新索引并检查数据总数。

   curl 'http://127.0.0.1:9200/http_logs/_refresh'
   curl 'http://127.0.0.1:9200/http_logs/_count'

部署与导入数据至Doris

1. 创建表与倒排索：在Doris中创建表，并使用USING INVERTED语法为request列创建倒排索引。

   CREATE TABLE http_logs(
     logs VARCHAR(4096),
     request VARCHAR(1024),
     INDEX request_idx (request) USING INVERTED PROPERTIES("parser" = "chinese")
   )
   DISTRIBUTED BY HASH(request) BUCKETS 1
   PROPERTIES ("replication_num" = "1");

2. 导入数据：您可以选择以下任一方式将PolarDB中的数据导入Doris。

   • 方法一：通过SQL文件中转
     先将PolarDB的数据导出为SQL文件，然后在Doris中执行该文件。

     # 从 PolarDB 导出数据
     mysqldump --compact --skip-set-charset --host=<polardb_host> --port=<polardb_port> -u<user> -p<password> <database_name> http_logs > dbname_http_logs.sql
     
     # 登录 Doris 后导入数据
     use <database_name>
     source dbname_http_logs.sql

   • 方法二：通过ENGINE=MYSQL表（若支持）
     如果您的Doris版本支持MYSQL表引擎，可以创建一个外部表直接映射到PolarDB的表，然后通过INSERT INTO SELECT导入数据。

     -- 创建 MySQL 外部表
     CREATE TABLE mysql_http_logs (
       logs varchar(4096),
       request varchar(1024)
     ) ENGINE=MYSQL
     PROPERTIES (
       "host" = "<polardb_host>",
       "port" = "<polardb_port>",
       "user" = "<user>",
       "password" = "<password>",
       "database" = "<database_name>",
       "table" = "http_logs"
     );
     
     -- 从外部表导入数据
     INSERT INTO http_logs SELECT * FROM mysql_http_logs;