全文索引的分词器

分词器介绍

指定分词器

语法

FULLTEXT INDEX idx_name(`column_name`) [ WITH ANALYZER analyzer_name ] [ WITH DICT tbl_dict_name];

参数说明

• idx_name：全文索引名称。

• column_name：全文索引的列。

• WITH ANALYZER analyzer_name：指定分词器。

• WITH DICT tbl_dict_name：指定自定义词典。AnalyticDB for MySQL支持自定义词典，详情请参见全文索引的自定义词典。

示例

CREATE TABLE `tbl_fulltext_demo` (
  `id` int,
  `content` varchar,
  `content_alinlp` varchar,
  `content_ik` varchar,
  `content_standard` varchar,
  `content_ngram` varchar,
  `content_edge_ngram` varchar,
  FULLTEXT INDEX fidx_c(`content`),  // 使用默认分词器
  FULLTEXT INDEX fidx_alinlp(`content_alinlp`) WITH ANALYZER alinlp,
  FULLTEXT INDEX fidx_ik(`content_ik`) WITH ANALYZER ik,
  FULLTEXT INDEX fidx_standard(`content_standard`) WITH ANALYZER standard,
  FULLTEXT INDEX fidx_ngram(`content_ngram`) WITH ANALYZER ngram,
  FULLTEXT INDEX fidx_edge_ngram(`content_edge_ngram`) WITH ANALYZER edge_ngram,
  PRIMARY KEY (`id`)
) DISTRIBUTED BY HASH(id);                

AliNLP分词器

AliNLP分词器是由阿里云与达摩院自然语言处理平台提供的自然语言分词工具包，支持通过全文词典使用实体词和停用词。AliNLP分词器将连续的自然语言文本，切分成语义合理、完整的词条序列，支持中文、英文、印度尼西亚语、马来语、泰语、越南语、法语和西班牙语等语言。

AliNLP配置项

如何查看和修改分词器的配置，请参见查看和修改分词器配置。

分词效果

默认配置的分词效果如下：

• 英文文本的分词效果。

  /*+ mode=two_phase*/ SELECT fulltext_alinlp_test('Hello world');

  返回结果：

  [hello,  , world]

• 中文文本的分词效果。

  /*+ mode=two_phase*/ SELECT fulltext_alinlp_test('产品和服务');

  返回结果：

  [产品, 和, 服务]

IK分词器

IK分词器是一个开源的轻量级中文分词工具包，支持通过全文词典使用实体词和停用词。

IK配置项

如何查看和修改分词器的配置，请参见查看和修改分词器配置。

分词效果

默认配置的分词效果如下：

• 英文文本的分词效果。

  /*+ mode=two_phase*/ SELECT fulltext_ik_test('Hello world');

  返回结果：

  [hello, world, or]

• 中文文本的分词效果。

  /*+ mode=two_phase*/ SELECT fulltext_ik_test('产品和服务');

  返回结果：

  [产品, 和服, 服务, 服, 务]

Standard分词器

Standard分词器在对文本进行切分时遵循不同的规则，切分英文文本时，先将文本转换为小写形式并去除停用词和标点符号，然后进行切分；切分中文文本时直接按照单字切分。Standard分词器支持通过全文词典使用实体词和停用词。

Standard配置项

如何查看和修改分词器的配置，请参见查看和修改分词器配置。

分词效果

默认配置的分词效果如下：

• 英文文本的分词效果。

  /*+ mode=two_phase*/ SELECT fulltext_standard_test('Hello world');

  返回结果：

  [hello, world]

• 中文文本的分词效果。

  /*+ mode=two_phase*/ SELECT fulltext_standard_test('产品和服务');

  返回结果：

  [产, 品, 和, 服, 务]

Ngram分词器

Ngram分词器根据配置项FULLTEXT_NGRAM_TOKEN_SIZE的取值切分文本，支持通过全文词典使用实体词和停用词。使用Ngram分词器可以提升模糊检索的查询效率。

Ngram配置项

如何查看和修改分词器的配置，请参见查看和修改分词器配置。

分词效果

默认配置的分词效果如下：

• 英文文本的分词效果。

  /*+ mode=two_phase*/ SELECT fulltext_ngram_test('Hello world');

  返回结果：

  [he, el, ll, lo, o ,  w, wo, or, rl, ld]

• 中文文本的分词效果。

  /*+ mode=two_phase*/ SELECT fulltext_ngram_test('产品和服务');

  返回结果：

  [产品, 品和, 和服, 服务]

Edge_ngram分词器

Edge_ngram分词器使用了与Ngram分词器一样的分词方法。Edge_ngram主要应用于前缀分词和匹配的场景，支持通过全文词典使用实体词和停用词。

Edge_ngram配置项

如何查看和修改分词器的配置，请参见查看和修改分词器配置。

分词效果

默认配置的分词效果如下：

• 英文文本的分词效果。

  /*+ mode=two_phase*/ SELECT fulltext_edge_ngram_test('Hello world');

  返回结果：

  [h, he]

• 中文文本的分词效果。

  /*+ mode=two_phase*/ SELECT fulltext_edge_ngram_test('产品和服务');

  返回结果：

  [产, 产品]

Pattern分词器

Pattern分词器按正则表达式切分文本，不支持通过全文词典使用实体词、停用词和通过SQL语句查询分词效果。

语法

FULLTEXT INDEX fidx_name(`column_name`) WITH ANALYZER pattern_tokenizer("Custom_rule") [ WITH DICT `tbl_dict_name` ];

参数说明

Custom_rule：正则表达式。

示例

• 指定以-作为切分文本的规则，将“商品的用户价值-和使用价值”切分为[商品的用户价值，和使用价值]。

  FULLTEXT INDEX fidx_pattern(`content_pattern`) WITH ANALYZER pattern_tokenizer("-");

• 指定以/作为切分文本的规则，将“商品的/用户价值/和/使用价值”切分为[商品的，用户价值，和，使用价值]。

  FULLTEXT INDEX fidx_pattern(`content_pattern`) WITH ANALYZER pattern_tokenizer("/");

Pattern配置项

如何查看和修改分词器的配置，请参见查看和修改分词器配置。

查看和修改分词器配置

AnalyticDB for MySQL支持查看和修改分词器的配置。

查看配置

• 使用show adb_config查询配置项。

  语法

  show adb_config key <analyzer_param>;

  参数说明

  analyzer_param：配置项名称。

  示例

  show adb_config key FULLTEXT_NGRAM_TOKEN_SIZE;

  说明

  show adb_config命令可以查询默认配置项和修改后的配置项。

• 使用SELECT查询配置项。

  语法

  SELECT `key`, `value`, `update_time`
  FROM INFORMATION_SCHEMA.kepler_meta_configs
  WHERE key = '<analyzer_param>';

  参数说明

  analyzer_param：配置项名称。

  示例

  SELECT `key`, `value`, `update_time`
  FROM INFORMATION_SCHEMA.kepler_meta_configs
  WHERE key = 'FULLTEXT_NGRAM_TOKEN_SIZE';

  说明

  SELECT语句只能查询修改后的配置项，如果查询默认的配置项，查询结果为空。

修改配置

语法

set adb_config <analyzer_param>=<value>;

参数说明

• analyzer_param：配置项的名称。

• value：配置项的取值。

示例

set adb_config FULLTEXT_NGRAM_TOKEN_SIZE=3;