向量检索服务DashVector FAQ

1. Doc相关操作不指定Partition参数时,具体行为是什么?

每个Collection创建时,默认创建一个名称为default的Partition,且该Partition无法被删除。当Doc操作不指定Partition时,实际相当于使用default Partition。例如:检索Doc时,若不指定Partition,则仅检索default Partition,不会检索其他Partition的数据。

2. 插入Doc更新Doc插入或更新Doc 操作的区别是什吗?

  • 插入Doc:若插入Doc时若指定id已存在,已存在的Doc不会被覆盖,本次插入Doc操作无效。

  • 更新Doc:当前行为是覆盖已存在Doc,若更新Doc时若指定id不存在,则本次更新Doc操作无效。

  • 插入或更新Doc:若插入Doc时若指定id已存在,则等同于更新Doc;指定id不存在,则等同于插入Doc。

3. 如何清空Collection?

当前无清空Collection操作,可删除Collection后再新建Collection

4. Doc相关操作如何使用异步功能?

插入Doc更新Doc插入或更新Doc检索Doc删除Doc获取Doc操作皆可通过设置async_req=True来使用异步的能力,如下所示:

# 异步写入1000次,dimension=20000,batch-size=8
batch_size = 8
loop = 1000
start = time.time()

async_results = [
    collection.insert(
        [(j + i * batch_size, np.random.rand(20000)) for j in range(batch_size)],
        async_req=True
    ) for i in range(loop)
]

# 等待所有写入操作完成
print([async_result.get() for async_result in async_results])

print(f"async insert {loop} times with batch-size = {batch_size}, cost = {time.time() - start}")

# output:
# async insert 1000 times with batch-size = 8, cost = 31.13356590270996

# 对比同步写入(代码略)
# sync insert 1000 times with batch-size = 8, cost = 408.63447427749634
重要

异步操作易触发约束与限制,请根据情况处理

5. Doc的Id是Collection级别唯一还是Partition级别唯一?

Partition级别唯一。同一个Collection下的不同Paritition,可以有Id相同的Doc存在。

6. 插入的向量数据为何有精度损失?

DashVector当前支持单精度浮点数的向量数据类型,又称FP32或float32。其精度范围如下:

image.png

若传入的向量数据精度超出上述表达范围,将自动近似到单精度表达范围内的最近值,也就发生了“精度损失”。

一个典型的场景:使用DashScope的ONE-PEACE多模态向量表征通用文本向量的embedding能力生产向量时,其Python SDK或Java SDK会将单精度(FP32)向量自动转换为双精度(FP64)向量。若将该双精度(FP64)向量插入至DashVector,就会产生伪精度损失(看起来小数部分变少,但实际精度没有损失)。

7. 检索Doc时,是否支持指定多个Partition?

不支持。若需要查询多个Partition,需进行多次检索Doc调用,每次调用仅可指定一个Partition。

8. Python安装DashVector,命令执行很慢,有什么办法?

下载较慢是由于默认从GitHub 下载,网络速率较慢。在下载时可以临时把下载源设置成国内的。

例如设置成国内阿里云的镜像源:

  1. 打开终端(对于Linux/macOS)或命令提示符/PowerShell(对于Windows)。

  2. 可以通过-i--index-url参数来指定源(即镜像源),这样可以加快下载速度。

    pip3 install dashvector -i https://mirrors.aliyun.com/pypi/simple/

9. Cluster是否支持SDK创建?

不支持。Cluster只能去管理控制台购买。可参考创建Cluster

10. 在付费的Cluster中创建Collection时,是否有数量限制?

付费Cluster最大可创建32个Collection,可创建的Partition数量随规格递增且与Collection数量无关,可参考约束与限制

11. 检索Doc时,过滤条件支持文本模糊检索吗?

向量检索里面 filter 仅支持文本前缀匹配搜索。可以参考条件过滤检索

12. 向量检索服务报错:"Query qps exceeds limit 0 for collection ××××"

此报错是由于免费的cluster使用http请求调用检索服务时,传入的collectionName有误造成。另外免费的Cluster有QPS限制,付费Cluster容量和QPS不做硬性限制。可参考约束与限制

13. 使用SDK调用向量检索服务时报错:DashVectorSDK RPCHandler endpoint({××××}) is invalid and cannot contain protocol header

Client传入的endpoint不对,检查参数是否正确。注意参数里不能带"{}"。