RDS/PolarDB 数据源配置分库分表

本文介绍如何在OpenSearch行业算法版和高性能检索版实例中配置分库分表的数据源。

一般用户的分库分表分两种情况:

  • 单库多表

database1

table1、table2、table3、table4...

  • 多库多表

database1

database2

database3...

table1、table2、table3、table4...

table1、table2、table3、table4...

table1、table2、table3、table4...

这两种情况的配置步骤大致相同,请参考下文进行配置。

注意:

  • 无论是单库多表还是多库多表,分表的表名都需要有统一的规则,比如table_1、table_2、table_3 ... 依次叠加,同时需要和库中的其他表区分开,比如分表的名字是table_goods_1、table_goods_2、table_goods_3、库中还有表名为table_goods_cate_1,如果有此种情况将无法区分非分表的表

  • 多库多表最大可配置10个库

配置步骤

用户可通过点击“线下变更”或者“配置应用”后,参考以下操作步骤。

  1. 通过数据源创建应用结构(RDS/polarDB)此处以RDS为例:

image

输入正确的RDS实例ID、数据库名、用户名和密码点击连接

image

  1. 选择其中一张分表即可(由于分库分表的表结构相同,此步骤旨在映射结构,因此选择一张表即可)

image

  1. 微调表结构:(可按需设置表的字段类型,详情可参考字段类型对应关系

image

注意:主表和主键是必选项同时主键只支持int和literal类型。

  1. 配置索引、属性、默认展示字段:

image

索引:索引是一种用于加速文档检索速度的数据结构,一个用户可以创建多个索引。

属性:可以在filter、sort、aggregate、distinct子句使用,用来实现过滤统计等功能。(这里属性的作用,是OpenSearch专有的)

默认展示字段:每一次搜索请求中,应用结构部分字段的召回都可以通过指定“默认展示字段”来限制

  1. 添加数据源:

5.1. 修改数据源,此处由于在映射表结构时,只选择了一张表,因此需要对已配置的数据源进行修改,点击“编辑”:

image

修改数据源配置:

image

选择数据库,使用前缀+通配符的形式选中表点击回车

image

5.2. 查看字段映射是否正确

image

5.3. 字段映射界面点击内容转换的“+”可以设置数据源插件说明

image

5.4. 若需要数据源实时同步功能,可以参考:DTS实时同步

image

补充:如果是多库多表的情况,按上述步骤再添加数据即可:

image

多库多表配置完成后,数据源结构如下:

image

  1. 最后点击完成等待版本构建完毕即可

image