引擎版本特性

为提升用户体验,降低用户接入门槛,OpenSearch团队针对向量检索版进行了全新升级,摒弃了繁重复杂的集群概念,将向量检索引擎抽象成以表为单位的向量数据库,本文将具体介绍此次升级的改动点。

首先为兼顾老用户,OpenSearch将原先的向量检索版划分成了两个版本:传统版和易用版,用户可以在实例的详情页进行区分:

image.png

在“当前引擎版本”一列中:

  • vector_service_1.0.1表示易用版,即最新版本

  • ha3_3.10.0:表示传统版,即为未升级版本

重要

ha3_3.10.0为老版本引擎,后续将不再进行新特性升级

传统版与易用版核心功能对比

主要功能

传统版(ha3_3.10.0)

易用版(vector_service_1.x.x)

数据源支持

  • MaxCompute + API

  • OSS + API

  • API

  • MaxCompute + API

  • OSS + API

  • DLF

  • API

控制台查询测试

  • 向量查询

  • SQL开发

  • 主键查询

  • 向量查询

  • 向量文本混合查询

SQL

支持

不支持

向量化模型

  • 文本向量化

  • 图片向量化

  • 文本稠密向量化

  • 文本稀疏向量化

  • 图片向量化

  • 图片多主体识别

  • 图片OCR识别

向量查询

  • 单向量查询

  • 多向量查询

  • 带namespace查询

  • 预测查询

  • 向量查询参数:指定topN、设置低分阈值

  • 单向量查询

  • 带namespace查询

  • 多namespace查询

  • 多向量查询

  • 单doc多向量查询

  • 预测查询

  • 多query查询

  • 混排查询

  • 向量查询参数:指定topN、设置低分阈值

查询语法

SDK支持

vector_service 版本特性

V1.4.0

新增特性:

  • 支持创建文本索引

  • 新增search接口:支持向量和文本索引的混合查询

  • 新增aggregate接口:支持统计查询

  • 支持查询body压缩:支持deflate压缩

  • fetch接口支持获取text类型字段

V1.3.0

新增特性:

  • 支持数据湖dlf数据源

  • 支持使用搜索开发平台模型

  • 支持配置文档过期自动删除功能(ttl)

  • 优化contain函数性能

  • sort和filter表达式中支持三元操作符( a ? b : c)

V1.2.2

新增特性:

  • 支持表别名功能

  • 优化过滤查询转倒排逻辑

  • 查询支持设置timeout

修复:

  • 修复有持续查询流量时索引切换会卡住的bug

  • 修复主体识别可能会引起引擎core的问题

V1.2.0

新增特性:

  • 数据节点数与表分片数解耦,支持一个数据节点加载多个表分片

  • 优化建表速度

  • 增加一些过滤函数

V1.1.3

新增特性:

  • 过滤优化支持计算稀疏向量分数

  • 过滤优化支持设置向量分数阈值

V1.1.2

新增特性:

  • 支持一个字段多个向量索引(包括filter转倒排优化场景)

  • 支持稀疏向量的实时更新(采用HnswStreamer)

  • qrs指标中增加表名的tag

V1.1.1

新增特性:

  • 支持主体识别

  • 支持指定条件fetch数据

  • 修复模型load过久会导致navi collect resource超时的问题

V1.1.0

新增特性:

  • 支持稀疏向量

  • 支持多个向量索引

  • 支持自定义排序公式

  • 支持filter转倒排优化

V1.0.3

新增特性:

  • 修复table中多值string字段,单个值超过4k时反序列化时会core的问题

  • 修复ann使用qc streamer时会支持segment数据但不释放,导致内存泄露的问题

V1.0.2

新增特性:

  • 修复切新全量时,老全量unload不掉,新全量不切的问题

V1.0.1

新增特性:

  • 新增filter支持turing function函数

  • 修复多值string结果序列化问题

  • 修复只获取最后一个需要跑模型预测的表的问题

V1.0.0

新增特性:

  • 带namespace查询

  • 多namespace查询

  • 获取索引信息

  • 内置模型预测功能

注意事项

  • ha3_3.10.0 无法升级为vector_service版本,需要新建实例

  • vector_service版本如需使用新特性,可以联系我们进行升级