本文介绍如何在OpenSearch行业算法版和高性能检索版实例中配置分库分表的数据源。
一般用户的分库分表分两种情况:
单库多表:
database1 |
table1、table2、table3、table4... |
多库多表:
database1 | database2 | database3... |
table1、table2、table3、table4... | table1、table2、table3、table4... | table1、table2、table3、table4... |
这两种情况的配置步骤大致相同,请参考下文进行配置。
注意:
无论是单库多表还是多库多表,分表的表名都需要有统一的规则,比如table_1、table_2、table_3 ... 依次叠加,同时需要和库中的其他表区分开,比如分表的名字是table_goods_1、table_goods_2、table_goods_3、库中还有表名为table_goods_cate_1,如果有此种情况将无法区分非分表的表
多库多表最大可配置10个库
配置步骤
用户可通过点击“线下变更”或者“配置应用”后,参考以下操作步骤。
通过数据源创建应用结构(RDS/polarDB)此处以RDS为例:
输入正确的RDS实例ID、数据库名、用户名和密码点击连接
选择其中一张分表即可(由于分库分表的表结构相同,此步骤旨在映射结构,因此选择一张表即可)
微调表结构:(可按需设置表的字段类型,详情可参考字段类型对应关系)
注意:主表和主键是必选项同时主键只支持int和literal类型。
配置索引、属性、默认展示字段:
索引:索引是一种用于加速文档检索速度的数据结构,一个用户可以创建多个索引。
属性:可以在filter、sort、aggregate、distinct子句使用,用来实现过滤统计等功能。(这里属性的作用,是OpenSearch专有的)
默认展示字段:每一次搜索请求中,应用结构部分字段的召回都可以通过指定“默认展示字段”来限制
添加数据源:
5.1. 修改数据源,此处由于在映射表结构时,只选择了一张表,因此需要对已配置的数据源进行修改,点击“编辑”:
修改数据源配置:
选择数据库,使用前缀+通配符的形式选中表点击回车
5.2. 查看字段映射是否正确
5.3. 字段映射界面点击内容转换的“+”可以设置数据源插件说明:
5.4. 若需要数据源实时同步功能,可以参考:DTS实时同步
补充:如果是多库多表的情况,按上述步骤再添加数据即可:
多库多表配置完成后,数据源结构如下:
最后点击完成等待版本构建完毕即可