本文介绍通过编辑表操作修改数据分片、数据源、字段配置及索引结构。
此处以修改数据分片为例,演示如何修改表,以及如何让修改的内容在线生效:
-
在表管理页找到需要修改的表,单击编辑。
-
表基础信息编辑,修改数据分片数:
编辑页面包含表名称(只读)、数据分片数和备注三个字段,填写数据分片数后单击下一步进入后续配置。
注意:
-
分片数设置时,请填写不超过256的正整数, 用于提升全量构建速度、单次查询性能。(部分存量实例,仍需各索引表分片数保持一致;或至少一个索引表分片数为1,其余索引表分片数一致)
-
数据节点使用达到上限时,无法进行扩容分片操作,需要进行扩容数据节点,扩容完成后保证表的分片个数<=数据节点个数时才能进行扩分片操作。扩容操作可参考升/降配。
-
-
校验数据源信息后,单击下一步:
变更时需填写 AccessKey、AccessKey Secret、项目名(Project)、表名(Table)、表数据分区(Partition),并设置自动索引重建。
说明API数据源直接单击下一步,MaxCompute数据源、对象存储OSS数据源与数据湖构建(DLF)数据源默认不变更全量数据来源信息,如有需要选择变更后填写配置信息通过数据来源校验后单击下一步。
-
字段配置,如有需求可在此处调整字段类型、高级配置等信息,调整后单击下一步:
在字段配置表格中,每个字段可设置字段名称、字段类型、主键、向量字段、需embedding字段、多值、高级配置、自定义默认值等属性。示例表包含三个字段:
id(INT32,设为主键)、embedding(FLOAT,勾选向量字段和多值,分隔符为^])、number(INT8,自定义默认值为0)。可通过底部 + 号添加新字段,或单击删除移除已有字段。 -
索引结构配置,可在此处开启文档过期清理配置与调整向量索引配置,调整后单击下一步:
文档过期自动清理选择不开启。索引名称设为
vector,混合检索选择不开启。包含字段包括主键字段id、命名空间及向量字段vector(稠密向量字段)。向量维度设为1,距离类型选择SquaredEuclidean,实时索引选择true,向量索引算法选择Qc。 -
确认编辑,根据全量数据来源填写后单击确认:
-
MaxCompute数据源:索引重建方式可选择全量数据重新导入。
-
对象存储OSS数据源:索引重建方式可选择全量数据重新导入。
-
API推送数据源:索引重建方式可选择空数据。
-
数据湖构建(DLF)数据源:索引重建方式可选择全量数据重新导入。
重要-
MaxCompute的数据源修改表后,索引重建会重新拉取配置的分区数据 + 时间戳配置的增量API数据。
-
空数据的索引重建方式会将之前推送的数据清空,从指定的时间戳开始追实时数据,请谨慎操作。
-
时间戳:表示索引重建的新全量版本回溯多久的API增量数据,系统最大支持追溯3天的API增量数据。
-
在生效方式中选择确认编辑,立即索引重建或下次全量生效。
-
-
可以在变更历史>数据源变更页查看变更进度:
页面以时间线形式展示变更记录,手动触发全量流水线依次包含 init、trigger、scan、bs_submit、build、suez_submit、switch 七个阶段,推送配置流水线包含 init and check、publish config version、update worker info、trigger build 四个阶段,各阶段通过颜色标识执行状态。
说明修改表并索引重建后会生成两个FSM,推送配置和手动触发全量,这两个流程全部结束后,本次变更才会生效。