本文介绍如何在OpenSearch行业算法版和高性能检索版实例中配置分库分表的数据源。
一般用户的分库分表分两种情况:
|
database1 |
|
table1、table2、table3、table4... |
|
database1 |
database2 |
database3... |
|
table1、table2、table3、table4... |
table1、table2、table3、table4... |
table1、table2、table3、table4... |
这两种情况的配置步骤大致相同,请参考下文进行配置。
注意:
-
无论是单库多表还是多库多表,分表的表名都需要有统一的规则,比如table_1、table_2、table_3 ... 依次叠加,同时需要和库中的其他表区分开,比如分表的名字是table_goods_1、table_goods_2、table_goods_3、库中还有表名为table_goods_cate_1,如果有此种情况将无法区分非分表的表
-
多库多表最大可配置10个库
配置步骤
用户可通过点击“线下变更”或者“配置应用”后,参考以下操作步骤。
-
通过数据源创建应用结构(RDS/polarDB)此处以RDS为例。
在弹出的选择数据源面板中,选择 RDS 数据源类型,然后单击+ 新建数据库。
输入正确的RDS实例ID、数据库名、用户名和密码点击连接
-
选择其中一张分表即可(由于分库分表的表结构相同,此步骤旨在映射结构,因此选择一张表即可)
在弹出的选择数据源对话框中,从选择数据库下拉框选择目标数据库,在左侧数据表面板勾选所需分表,通过穿梭按钮将其移至右侧已选择面板,单击确定。
-
微调表结构:(可按需设置表的字段类型,详情可参考字段类型对应关系)
选择分表后,页面展示主表(如 product_1)的字段配置列表,每行包含字段名、主键单选按钮、类型下拉框(默认为 TEXT)及删除操作,可按需调整各字段类型。
注意:主表和主键是必选项同时主键只支持int和literal类型。
-
配置索引、属性、默认展示字段。
在索引结构配置页面,依次配置三个区域:索引字段列表(设置索引名称、包含字段及分析方式,如中文 - 通用分析或关键字,使用示例格式为 query=default:"云搜索")、属性字段列表(使用示例格式为 filter=id>100000)和默认展示字段列表。
索引:索引是一种用于加速文档检索速度的数据结构,一个用户可以创建多个索引。
属性:可以在filter、sort、aggregate、distinct子句使用,用来实现过滤统计等功能。(这里属性的作用,是OpenSearch专有的)
默认展示字段:每一次搜索请求中,应用结构部分字段的召回都可以通过指定“默认展示字段”来限制
5.1. 修改数据源,此处由于在映射表结构时,只选择了一张表,因此需要对已配置的数据源进行修改,点击“编辑”:
在数据源列表中,将数据同步方式下拉框选择为DTS数据订阅实例,并单击对应的选择链接关联DTS实例。
修改数据源配置:数据源配置对话框中包含数据库名、数据表输入框(支持通配符)、过滤条件以及数据同步方式下拉框等关键字段。
选择数据库,使用前缀+通配符的形式选中表点击回车
例如在数据表搜索框中输入 product_* 进行筛选,即可匹配出 product_1、product_2、product_list_1 等分表。
5.2. 查看字段映射是否正确
确认字段映射表中 OpenSearch 表字段与 RDS 源字段已一一对应,例如 id(主键)、good_code、range_age、title、type、unit_price、good_number 均正确映射至同名 RDS 字段。如有误可点击 删除 移除后重新映射。
5.3. 字段映射界面点击内容转换的“+”可以设置数据源插件说明:
在插件及参数设置对话框左侧选择插件类型,可选项包括 HTMLTagRemover、JsonKeyValueExtractor、KeyValueExtractor、StringCatenateExtractor。以 StringCatenateExtractor 为例,该插件将多个指定字段按照指定顺序拼接成一个字符串,字段列表默认以逗号分隔;若目标字段类型为 GEO_POINT,则顺序必须为经度字段、纬度字段,分隔符设置为空格。右侧需填写字段列表(必填)和字段连接符,完成后单击保存。
5.4. 若需要数据源实时同步功能,可以参考:DTS实时同步
在数据源配置中,将数据同步方式下拉框选择为DTS数据订阅实例,然后单击选择链接关联对应的 DTS 数据订阅实例。
补充:如果是多库多表的情况,按上述步骤再添加数据即可:
数据源列表中包含多条记录,各记录共享同一 RDS 实例 ID 与数据库名,表名分别以通配符形式配置(如 product_*、t*),每条记录可独立设置过滤条件及数据同步方式(DTS 数据订阅实例)。
-
最后点击完成,等待版本构建完毕即可。构建成功后,版本列表中对应版本的状态将显示为正常