功能介绍
当用户业务数据即将超过节点规格的上限时,为保证业务数据正常导入,可以通过扩缩分片功能,调整数据节点个数完成扩容。扩缩分片有两种方式:修改索引表和快速扩缩分片,本文将分别介绍这两种方式的使用场景,以及操作步骤。
操作步骤
如果是扩容操作,需要提前购买数据节点,以支持扩容后的分片数,扩容可参考购买OpenSearch召回引擎版实例。
快速扩缩容
说明:快速扩缩容是针对API数据源的场景,调整分片后,无需配置更新和索引重建,也可确保用户API推送数据源的数据完整性(需要保留的字段必须勾选搜索结果展示字段,未设置为搜索结果展示字段的字段内容将在快速扩缩容后被清空)。
操作步骤:
在运维中心>运维管理页中点击快速扩缩分片。
配置数据分片:选择数据源,选择需要扩分片的全量索引版本,并设置目标数据分片数后点击确定。
页面还需配置目标集群(如勾选对应集群)及自动切换上线选项,确认后点击确定完成操作。页面顶部可查看数据节点现状,包括实例数据节点总数和已使用节点数量。
注意:节点使用达到上限时,无法进行扩列操作,需要进行扩容,扩容完成后保证当前实例总的数据节点个数>已使用的数据节点数量时再进行扩列。
选择目标集群并勾选自动切换上线。
完成配置后,提示成功,点击【查看变更历史】跳转至对应页面。
提交成功弹窗提示:请确保实例下所有索引表数据分片一致,或至少有一个分片数为 1 其他分片数一致,否则无法自动切换上线。可在变更历史中查看自动切换上线状态。
查看变更历史。
在变更历史页面,顶部有集群变更和数据源变更两个页签。选择数据源变更页签后,可查看各工作流记录的执行时间、标题及流水线步骤状态(绿色对勾表示完成、红色 X 表示失败、加载图标表示进行中)。每个步骤下方有详情链接,记录下方显示关联的集群、数据源及 generation 信息。
修改索引表扩缩分片
说明:修改索引表扩缩分片,是在用户有数据源(MaxCompute、OSS)的场景下,修改索引表表中的分片数,然后重新触发索引重建,实现扩缩分片。
操作步骤如下。
修改索引表,扩缩分片。
在索引结构页面,展开index_config_edit版本行。
在main_schema.json文件右侧,单击编辑。
修改数据分片个数,并保存版本。
保存后会生成一个新的索引表配置。
新生成的索引表版本状态为未使用,备注列显示扩容分片。
在运维中心>运维管理>配置更新中,触发推送离线配置,并索引重建。
推送离线配置并索引重建。
在索引结构版本中,索引表版本选择上一步保存的版本,单击确定。
如果有API的增量数据,建议数据分区选择3天内的数据分区,因为实例只会保留3天内的API增量,如果分区数据选择的过早,由于API增量只保留3天,索引重建产出的全量数据,可能会有增量数据丢失的风险
注意事项
快速扩缩分片之后会自动触发一次索引重建,这时候由于分片数量变化了,索引的变化阈值会超出限制,需要用户自己去变更历史里面点一下强制切换,才能让全量任务正常进行
分片数设置时,各索引表分片数需保持一致;或至少一个索引表分片数为1,其余索引表分片数一致;
执行快速扩缩分片后,会基于选中的全量索引版本自动生成新配置,同时将实例中当前配置编辑内容覆盖
每次快速扩/缩分片只能选择一个数据源进行操作;
快速扩缩分片功能操作后, 默认自动切换上线;
快速扩缩分片功能不支持带有向量索引的索引表;