IK分词插件(英文名为analysis-ik)是阿里云Elasticsearch的扩展插件,默认不能卸载。该插件在开源插件的基础上,扩展支持了对象存储服务OSS(Object Storage Service)词典文件的动态加载,可以实现IK词典的冷更新和热更新。本文介绍如何使用IK分词插件。
前提条件
确保集群状态为正常。可在基本信息页面查看,具体操作请参见查看实例的基本信息。
使用限制
Elasticsearch 7.16及以上版本和部分地域的基于全新云原生管控的7.10版本实例不支持IK词典冷更新。
注意事项
对于已经配置了IK分词的索引,在IK词典冷更新或热更新操作完成后将只对新数据(包含新增数据和更新后的数据)生效。如果您希望对全部数据生效,需要重建索引。
词典冷热更新对比
阿里云Elasticsearch的IK分词插件支持IK词典冷更新和IK词典热更新,两者区别如下。
更新方式 | 生效方式 | 加载方式 | 说明 |
---|---|---|---|
冷更新 | 对整个集群的词典进行更新操作,需要重启集群才能生效。 | 系统自动将上传的词典文件传送到Elasticsearch节点上,并修改IKAnalyzer.cfg.xml文件,然后重启Elasticsearch节点加载词典文件。 | IK词典冷更新支持修改IK自带的主词库和停用词主词库。在IK词典冷更新页面可以看到系统自带的主词典为SYSTEM_MAIN.dic,系统自带的停用词主词典为SYSTEM_STOPWORD.dic。 重要 如果您需要自定义配置词库文件(IKAnalyzer.cfg.xml),可下载词典并修改后重新上传,具体操作请参见更新词库文件。 |
热更新 | 第一次上传词典文件时,会对整个集群的词典进行更新,需要重启集群才能生效;二次上传同名文件不会触发集群重启,在运行过程中直接加载词库。 | 当词典文件内容发生变化时,上传词典文件后Elasticsearch节点能自动加载词典文件,实现词典的更新操作。 如果词典文件列表发生变化,例如上传新词典文件或删除词典文件,那么整个集群都需要重新加载词典的配置(因为会涉及到修改IKAnalyzer.cfg.xml文件)。 | 第一次上传词典文件时,系统会自动修改IKAnalyzer.cfg.xml文件,所以在更新词典后,需要重启集群才能生效。 |
词典文件说明
词典类型 | 词典说明 | 相关限制 | 更新方式 |
---|---|---|---|
主分词词典 | 在Elasticsearch集群中创建索引时,如果指定了主分词词典,那么向集群中写入数据时,如果数据中包含主分词词典中的词,集群就会建立索引,并且该索引能通过关键词被查询到。 |
| IK词典冷更新 |
停用词词典 | 在Elasticsearch集群中创建索引时,如果指定了停用词词典,那么向集群中写入数据时,数据中包含的停用词词典中的词会被过滤掉。 阿里云Elasticsearch默认的停用词词库配置文件中,包含了一些默认的停用词,例如:a、an、and、are、as、at、be、but、by、for、if、in、into、is、it、no、not、of、on、or、such、that、the、their、then、there、these、they、this、to、was、will、with。如果您需要去掉一些不需要的默认停用词,可参见更新词库文件,下载并修改内容,然后将文件重命名为SYSTEM_STOPWORD.dic后重新上传。 说明 如果您需要使用中文停用词,可参考官方Elasticsearch默认的IK分词配置文件中config目录下的extra_stopword.dic文件。该文件中包含的停用词包括:也、了、仍、从、以、使、则、却、又、及、对、就、并、很、或、把、是、的、着、给、而、被、让、在、还、比、等、当、与、于、但。 |
IK词典冷更新
- 登录阿里云Elasticsearch控制台。
- 在左侧导航栏,单击Elasticsearch实例。
- 进入目标实例。
- 在顶部菜单栏处,选择资源组和地域。
- 在Elasticsearch实例中单击目标实例ID。
- 在左侧导航栏,选择 。
- 在系统默认插件列表中,找到analysis-ik插件,单击其右侧操作列下的冷更新。
- 在冷更新页面,单击下方的配置。
- 在IK主分词词库下方,选择词典的更新方式,并按照以下说明上传词典文件。阿里云Elasticsearch支持上传DIC文件和添加OSS文件两种词典更新方式:
- 上传DIC文件:单击上传DIC文件,选择一个本地文件进行上传。
- 添加OSS文件:输入Bucket名称和文件名称,单击添加。
请确保Bucket与当前阿里云Elasticsearch实例在同一地域下,且文件为DIC文件。当源端(OSS)的文件内容发生变化后,需要重新手动配置上传才能生效,不支持自动同步更新。
警告 以下操作会重启实例,为保证您的业务不受影响,请确认后在业务低峰期进行操作。 - 滑动到页面底端,勾选该操作会重启实例,请确认后操作,单击保存。无论是词典文件变化,还是词典内容发生变化,冷更新操作都会触发集群重启。
- 重启成功后,登录对应Elasticsearch实例的Kibana控制台,执行以下命令测试词典是否生效。登录控制台的具体操作步骤,请参见登录Kibana控制台。
GET _analyze { "analyzer": "ik_smart", "text": ["您词典中包含的词"] }
正常情况下,系统会根据ik_smart的分词规则对text的值进行分词并返回。例如text的值为["计算机汉字输入方法"],则返回结果如下。{ "tokens" : [ { "token" : "计算机", "start_offset" : 0, "end_offset" : 3, "type" : "CN_WORD", "position" : 0 }, { "token" : "汉字输入", "start_offset" : 3, "end_offset" : 7, "type" : "CN_WORD", "position" : 1 }, { "token" : "方法", "start_offset" : 7, "end_offset" : 9, "type" : "CN_WORD", "position" : 2 } ] }
说明 IK分词插件的分词器包括ik_smart和ik_max_word,两者区别如下:- ik_max_word:将文本按照最细粒度进行拆分,适合术语查询。例如会将
计算机汉字输入方法
拆分为计算机,计算,算机,汉字输入,汉字,输入,方法
。 - ik_smart:将文本按照粗粒度进行拆分,适合短语查询。例如会将
计算机汉字输入方法
拆分为计算机,汉字输入,方法
。
- ik_max_word:将文本按照最细粒度进行拆分,适合术语查询。例如会将
IK词典热更新
- 在系统默认插件列表中,找到需要更新的IK插件,单击其右侧操作列下的热更新。
- 在热更新页面,单击右下方的配置。
- 在IK主分词词库下方,选择词典的更新方式,并按照以下说明上传词典文件。说明 IK热更新不支持修改系统自带的主词典,如果您需要修改系统主词典请使用IK冷更新的方式。阿里云Elasticsearch支持上传DIC文件和添加OSS文件两种词典更新方式:
- 上传DIC文件:单击上传DIC文件,选择一个本地文件进行上传。
- 添加OSS文件:输入Bucket名称和文件名称,单击添加。
请确保Bucket与当前Elasticsearch实例在同一地域下,且文件为DIC文件(以下步骤以dic_0.dic文件进行说明)。且源端(OSS)的文件内容发生变化后,需要重新手动配置上传才能生效,不支持自动同步更新。
警告 以下操作会重启实例,为保证您的业务不受影响,请确认后在业务低峰期进行操作。 - 滑动到页面底端,勾选该操作会重启实例,请确认后操作(第一次上传词典文件,需要重启),单击保存。
保存后,集群会进行滚动重启,等待滚动重启结束后,词典会自动生效。
词典使用一段时间后,如果需要扩充或者减少词典中的内容,请继续执行以下步骤修改上传的dic_0.dic文件。
- 进入词典热更新页面,先删除之前上传的同名词典文件,重新上传修改过的dic_0.dic同名词典文件。因为修改的是已存在的同名词典文件的内容,所以本次上传修改过的同名词典文件不需要滚动重启整个集群。
- 单击保存。由于阿里云Elasticsearch节点上的插件具有自动加载词典文件的功能,所以每个节点获取词典文件的可能时间不同,请耐心等待词典生效。大概两分钟后再使用更新之后的词典,为了保证准确性,请登录Kibana控制台,多次执行以下命令进行验证。说明 登录Kibana控制台的具体步骤,请参见登录Kibana控制台。
GET _analyze { "analyzer": "ik_smart", "text": ["您词典中包含的词"] }
正常情况下,系统会根据ik_smart的分词规则对text的值进行分词并返回。例如text的值为["计算机汉字输入方法"],则返回结果如下。{ "tokens" : [ { "token" : "计算机", "start_offset" : 0, "end_offset" : 3, "type" : "CN_WORD", "position" : 0 }, { "token" : "汉字输入", "start_offset" : 3, "end_offset" : 7, "type" : "CN_WORD", "position" : 1 }, { "token" : "方法", "start_offset" : 7, "end_offset" : 9, "type" : "CN_WORD", "position" : 2 } ] }
更新词库文件
如果您需要更新已经上传的词库文件,可直接下载对应文件,修改后重新上传。以SYSTEM_STOPWORD.dic为例,更新词库文件的步骤如下:
- 在系统默认插件列表中,找到analysis-ik插件,单击其右侧操作列下的冷更新。
- 在冷更新面板中,单击IK停用词库下SYSTEM_STOPWORD.dic文件对应的
图标。
重要 进行IK词典冷更新时,系统不支持删除自带的主词典和停用词主词典,但可以修改。 修改方式如下:- 如果需要修改系统自带的主词典文件,请上传以SYSTEM_MAIN.dic命名的主词典,系统会自动覆盖原始内容。详细信息,请参见IK Analysis for Elasticsearch。
- 如果需要修改系统自带的停用词主词典文件,请上传以SYSTEM_STOPWORD.dic命名的停用词主词典,系统会自动覆盖原始内容。详细信息,请参见IK Analysis for Elasticsearch。
- 修改已下载的文件,并重新上传。
IK和Pinyin分词器结合使用示例
- 登录目标阿里云Elasticsearch实例的Kibana控制台,根据页面提示进入Kibana主页。登录Kibana控制台的具体操作,请参见登录Kibana控制台。说明 本文以阿里云Elasticsearch 7.10.0版本为例,其他版本操作可能略有差别,请以实际界面为准。
- 单击右上角的Dev tools。
- 在Console中执行以下命令,创建索引并配置IK和Pinyin分词器。示例如下:
PUT ik_pinyin { "settings":{ "analysis": { "filter": { "my_pinyin" : { "type" : "pinyin", "keep_separate_first_letter" : false, "keep_full_pinyin" : true, "keep_original" : true, "limit_first_letter_length" : 16, "lowercase" : true, "remove_duplicated_term" : true } }, "analyzer": { "ik_pinyin_analyzer": { "type": "custom", "tokenizer": "ik_max_word", "filter": ["my_pinyin"] } } } }, "mappings":{ "properties":{ "text":{ "type" : "text", "analyzer" : "ik_pinyin_analyzer" } } } }
说明 Pinyin分析插件的具体配置请参见Pinyin Analysis for Elasticsearch。 - 验证分词效果。
GET ik_pinyin/_analyze { "text": ["这是个测试"], "analyzer": "ik_pinyin_analyzer" }
预期结果如下:{ "tokens" : [ { "token" : "zhe", "start_offset" : 0, "end_offset" : 2, "type" : "CN_WORD", "position" : 0 }, { "token" : "shi", "start_offset" : 0, "end_offset" : 2, "type" : "CN_WORD", "position" : 1 }, { "token" : "这是", "start_offset" : 0, "end_offset" : 2, "type" : "CN_WORD", "position" : 1 }, { "token" : "zs", "start_offset" : 0, "end_offset" : 2, "type" : "CN_WORD", "position" : 1 }, { "token" : "ge", "start_offset" : 2, "end_offset" : 3, "type" : "CN_CHAR", "position" : 2 }, { "token" : "个", "start_offset" : 2, "end_offset" : 3, "type" : "CN_CHAR", "position" : 2 }, { "token" : "g", "start_offset" : 2, "end_offset" : 3, "type" : "CN_CHAR", "position" : 2 }, { "token" : "ce", "start_offset" : 3, "end_offset" : 5, "type" : "CN_WORD", "position" : 3 }, { "token" : "shi", "start_offset" : 3, "end_offset" : 5, "type" : "CN_WORD", "position" : 4 }, { "token" : "测试", "start_offset" : 3, "end_offset" : 5, "type" : "CN_WORD", "position" : 4 }, { "token" : "cs", "start_offset" : 3, "end_offset" : 5, "type" : "CN_WORD", "position" : 4 } ] }
相关文档
- IK词典热更新的API文档:UpdateHotIkDicts
- IK词典冷更新的API文档:UpdateDict