TairSearch性能白皮书

中、英文测试数据示例如下：

{
    "id":"History_of_Pakistan",
    "title":"History of Pakistan",
    "url":"https://en.wikipedia.org/wiki/History_of_Pakistan",
    "abstract":"The history of Pakistan for the period preceding the country's independence in 1947Pakistan was created as the Dominion of Pakistan on 14 August 1947 after the end of British rule in, and partition of British India. is shared with that of Afghanistan, India."
}

{
    "id":"Wikipedia：哲学",
    "title":"Wikipedia：哲学",
    "url":"https://zh.wikipedia.org/wiki/%E5%93%B2%E5%AD%A6",
    "abstract":"哲学（）是研究普遍的、基本问题的学科，包括存在、知识、价值、理智、心灵、语言等领域。哲学与其他学科不同之处在於哲学有独特之思考方式，例如批判的方式、通常是系统化的方法，并以理性论证为基础。"
}

以Linux为例，执行./TairSearchBench.Linux --help可查看压测工具的使用方法，用法如下：

Usage of ./TairSearchBench.linux:
  -a string
        The address(ip:port) of network to connect 
        # 实例连接地址。
  -c int
        Benchmark concurrency (default 30)
        # 并发数，默认为30。
  -d uint
        Specify the number of seconds for the benchmark (default 30)
        # 指定测试时间，到达时间后，测试终止，默认为30s。
  -e string
        The engine backend to run [tairsearch/redisearch]
        # 指定运行引擎为TairSearch或RediSearch。
  -f string
        Input file to ingest data from (wikipedia abstracts)
        # 执行数据文件路径。
  -h string
        Print usage (default "help")
        # 显示使用方法。
  -j string
        Specify the big json file to write
        # 指定要写入的Json文件路径。
  -n uint
        Specify the number of times to benchmark (default 100000)
        # 指定总测试数，默认为100000。
  -o int
        Overwrite the doc (We will write the document with the same document id)
        # 是否覆盖写，取值为1（开启）或0（关闭，默认值）。
  -p string
        The password of redis to connect
        # 实例的密码。
  -q string
        Search query string to benchmark
        # 指定压测的查询语句。
  -s uint
        Specify the compress threshold for tairsearch (default 10000000000)
        # 指定TairSearch的文档压缩阈值，文档超过该大小会进行压缩，单位为字节，默认为10000000000（10 kb）。
  -t string
        Specify the type of benchmark [write/search/readwrite]
        # 指定测试类型为write、search或readwrite。
  -z string
        Specify the analyzer to use for query (default "standard")
        # 指定查询的分词器，默认为standard。

创建Schema（索引），示例如下。

• TairSearch：

  {
      "settings": {
          "compress_doc": {
              "size": "用户传入的压缩阈值",
              "enable": true
          }
      },
      "mappings": {
          "properties": {
              "id":       {"type": "keyword"},
              "url":      {"type": "keyword", "index": false},
              "title":    {"type": "text", "analyzer": "用户传入的analyzer"},
              "abstract": {"type": "text", "analyzer": "用户传入的analyzer"},
              "url_len":  {"type": "integer"},
              "abstract_len":  {"type": "integer"},
              "title_len":  {"type": "integer"}
          }
      }
  }

• RediSearch：

  \\ SCHEMA
  $.id AS id TEXT
  $.url AS url TEXT NOINDEX
  $.title AS title TEXT
  $.abstract AS abstract TEXT
  $.abstract_len AS abstract_len NUMERIC
  $.url_len AS url_len NUMERIC
  $.title_len AS title_len NUMERIC
  
  \\ 如果是中文文档，需要加上"LANGUAGE CHINESE"。

测试命令：

• TairSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t write -e tairsearch -f ./enwiki-latest-abstract.xml -c 20 -n 1000000 -a 127.0.0.1:6379

• RediSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t write -e redisearch -f ./enwiki-latest-abstract.xml -c 20 -n 1000000 -a 127.0.0.1:6379

测试结果：

测试命令：

• TairSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t write -e tairsearch -f ./zhwiki-latest-abstract.xml -c 20 -n 1000000 -a 127.0.0.1:6379 -z jieba

• RediSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t write -e redisearch -f ./zhwiki-latest-abstract.xml -c 20 -n 1000000 -a 127.0.0.1:6379 -z chinese

测试结果：

测试命令：

• TairSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t write -e tairsearch -f ./enwiki-latest-abstract.xml -c 20 -n 1000000 -o 1 -a 127.0.0.1:6379

• RediSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t write -e redisearch -f ./enwiki-latest-abstract.xml -c 20 -n 1000000 -o 1 -a 127.0.0.1:6379

测试结果：

测试命令：

• TairSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t write -e tairsearch -f ./zhwiki-latest-abstract.xml -c 20 -n 1000000 -o 1 -a 127.0.0.1:6379 -z jieba

• RediSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t write -e redisearch -f ./zhwiki-latest-abstract.xml -c 20 -n 1000000 -o 1 -a 127.0.0.1:6379

测试结果：

测试命令：

• TairSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 1000000 -q '{"query":{"term":{"abstract":"hello"}}}' -a 127.0.0.1:6379

• RediSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 1000000 -q "@abstract:hello" -a 127.0.0.1:6379

测试结果：

测试命令：

• TairSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 1000000 -q '{"query":{"term":{"abstract":"你好"}}}' -a 127.0.0.1:6379

• RediSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 1000000 -q "@abstract:你好" -a 127.0.0.1:6379

测试结果：

测试命令：

• TairSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 1000000 -q '{"query":{"match":{"abstract":{"operator":"and","query":"chinese history"}}}}' -a 127.0.0.1:6379

• RediSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 1000000 -q "@abstract:chinese history" -a 127.0.0.1:6379

测试结果：

测试命令：

• TairSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 100000 -q '{"query":{"match":{"abstract":{"operator":"and","query":"中国的历史"}}}}' -a 127.0.0.1:6379

• RediSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 100000 -q "@abstract:中国的历史" -a 127.0.0.1:6379  -analyzer jieba

测试结果：

测试命令：

• TairSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 100000 -q '{"query":{"bool":{"must":[{"term":{"abstract":"war"}},{"term":{"abstract":"japanese"}},{"range":{"abstract_len":{"gt":500}}}],"must_not":{"term":{"abstract":"America"}},"should":[{"term":{"abstract":"chinese"}},{"term":{"abstract":"china"}}]}}}' -a 127.0.0.1:6379

• RediSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 100000 -q "@abstract:(war japanese -America (chinese|china)) @abstract_len:[500 +inf]"  -a 127.0.0.1:6379

测试结果：

测试命令：

• TairSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 100000 -q '{"query":{"bool":{"must":[{"term":{"abstract":"战争"}},{"term":{"abstract":"日本"}},{"range":{"abstract_len":{"gt":500}}}],"must_not":{"term":{"abstract":"美国"}},"should":[{"term":{"abstract":"中国"}},{"term":{"abstract":"亚洲"}}]}}}' -a 127.0.0.1:6379

• RediSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 1000000 -q "@abstract:(日本 -美国 (中国|亚洲)) @abstract_len:[500 +inf]"  -a 127.0.0.1:6379 -analyzer jieba

测试结果：

测试命令：

• TairSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 1000000 -q '{"query":{"range":{"abstract_len":{"lte":420, "gte":400}}}}' -a 127.0.0.1:6379

• RediSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 1000000 -q "@abstract_len:[400,420]" -a 127.0.0.1:6379

测试结果：

测试命令：

• TairSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 1000000 -q '{"query":{"prefix":{"abstract":"happiness"}}}' -a 127.0.0.1:6379

• RediSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 1000000 -q "@abstract:happiness*" -a 127.0.0.1:6379

测试结果：

测试命令：

• TairSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e tairsearch -c 20 -n 1000000 -q '{"query":{"prefix":{"abstract":"开心"}}}' -a 127.0.0.1:6379

• RediSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t search -e redisearch -c 20 -n 1000000 -q "@abstract:开心*" -a 127.0.0.1:6379 -z chinese

测试结果：

测试命令：

• TairSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t readwrite -e tairsearch -f ./enwiki-latest-abstract.xml -c 20 -d 60 -q '{"query":{"term":{"abstract":"hello"}}}' -a 127.0.0.1:6379

• RediSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t readwrite -e redisearch -f ./enwiki-latest-abstract.xml -c 20 -d 60 -q "@abstract:hello" -a 127.0.0.1:6379

测试结果：

测试命令：

• TairSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t readwrite -e tairsearch -f ./enwiki-latest-abstract.xml -c 20 -d 60 -q '{"query":{"bool":{"must":[{"term":{"abstract":"war"}},{"term":{"abstract":"japanese"}},{"range":{"abstract_len":{"gt":500}}}],"must_not":{"term":{"abstract":"America"}},"should":[{"term":{"abstract":"chinese"}},{"term":{"abstract":"china"}}]}}}' -a 127.0.0.1:6379

• RediSearch：

  taskset -c 10-30 ./TairSearchBench.linux -t readwrite -e redisearch -f ./enwiki-latest-abstract.xml -c 20 -d 60 -q "@abstract:(war japanese -America (chinese|china)) @abstract_len:[500 +inf]" -a 127.0.0.1:6379

测试结果：