为提升用户体验,降低用户接入门槛,OpenSearch团队针对向量检索版进行了全新升级,摒弃了繁重复杂的集群概念,将向量检索引擎抽象成以表为单位的向量数据库,本文将具体介绍此次升级的改动点。
首先为兼顾老用户,OpenSearch将原先的向量检索版划分成了两个版本:传统版和易用版,用户可以在实例的详情页进行区分:
在“当前引擎版本”一列中:
vector_service_1.0.1表示易用版,即最新版本
ha3_3.10.0:表示传统版,即为未升级版本
ha3_3.10.0为老版本引擎,后续将不再进行新特性升级
传统版与易用版核心功能对比
主要功能 | 传统版(ha3_3.10.0) | 易用版(vector_service_1.x.x) |
数据源支持 |
|
|
控制台查询测试 |
|
|
SQL | 支持 | 不支持 |
向量化模型 |
|
|
向量查询 |
|
|
查询语法 | ||
SDK支持 |
vector_service 版本特性
V1.4.0
新增特性:
支持创建文本索引
新增search接口:支持向量和文本索引的混合查询
新增aggregate接口:支持统计查询
支持查询body压缩:支持deflate压缩
fetch接口支持获取text类型字段
V1.3.0
新增特性:
支持数据湖dlf数据源
支持使用搜索开发平台模型
支持配置文档过期自动删除功能(ttl)
优化contain函数性能
sort和filter表达式中支持三元操作符( a ? b : c)
V1.2.2
新增特性:
支持表别名功能
优化过滤查询转倒排逻辑
查询支持设置timeout
修复:
修复有持续查询流量时索引切换会卡住的bug
修复主体识别可能会引起引擎core的问题
V1.2.0
新增特性:
数据节点数与表分片数解耦,支持一个数据节点加载多个表分片
优化建表速度
增加一些过滤函数
V1.1.3
新增特性:
过滤优化支持计算稀疏向量分数
过滤优化支持设置向量分数阈值
V1.1.2
新增特性:
支持一个字段多个向量索引(包括filter转倒排优化场景)
支持稀疏向量的实时更新(采用HnswStreamer)
qrs指标中增加表名的tag
V1.1.1
新增特性:
支持主体识别
支持指定条件fetch数据
修复模型load过久会导致navi collect resource超时的问题
V1.1.0
新增特性:
支持稀疏向量
支持多个向量索引
支持自定义排序公式
支持filter转倒排优化
V1.0.3
新增特性:
修复table中多值string字段,单个值超过4k时反序列化时会core的问题
修复ann使用qc streamer时会支持segment数据但不释放,导致内存泄露的问题
V1.0.2
新增特性:
修复切新全量时,老全量unload不掉,新全量不切的问题
V1.0.1
新增特性:
新增filter支持turing function函数
修复多值string结果序列化问题
修复只获取最后一个需要跑模型预测的表的问题
V1.0.0
新增特性:
带namespace查询
多namespace查询
获取索引信息
内置模型预测功能
注意事项
ha3_3.10.0 无法升级为vector_service版本,需要新建实例
vector_service版本如需使用新特性,可以联系我们进行升级