全部产品

竞品分析

更新时间:2019-05-13 18:00:08

本文讨论PostgreSQL相似图像搜索插件imgsmlr和文本转化为向量插件word2vec对比分析型数据库MySQL版向量分析在使用过程中存在哪些问题。

PostgreSQL imgsmlr

imgsmlr是PostgreSQL上的一个以图搜图插件,实现了从图片转向量和向量检索的功能,且所有操作都使用SQL封装,您可以很容易地搭建一个简易的以图搜图应用。

使用过程中存在的问题

imgsmlr存在以下问题:

  • 图片特征提取算法粗燥,准确率和数据召回率较低。

    imgsmlr抽取图像特征的算法,以64*64的图像为例,imgsmlr取16个区域的平均值,生成16个浮点数,作为图像特征值。这种特征抽取算法,只适用于对图像检索准确度要求极低的情况,对目前广泛使用的基于卷积神经网络图像识别来说,完全无法实现其要求。

  • imgsmlr图片检索算法使用Gist索引,仅适用于向量维度较低的情况,例如16维,而人脸识别基本在256维以上。

    低维度的向量对索引非常友好,但是维度较低会丢失大量的图像信息,导致检索精度显著下降。维度上升对数据存储和计算提出了巨大的挑战,显然imgsmlr无法胜任。

  • 只支持数据批量导入,不支持数据实时更新。

PostgreSQL word2vec

word2vec支持使用Python实现文本转向量功能,且集成Facebook AI Research(简称FAIR)开源的Faiss向量索引库,实现了多种向量索引算法,例如Product quantizer (PQ) in flat mode(简称PQ)、IVFADC (coarse quantizer+PQ on residuals)(简称IVFADC)。

word2vec还具备向量分析能力,提供了KNN-Join,详情请参见FREDDY

实现逻辑

word2vec的实现逻辑较为简洁:

  1. 通过封装的Python接口把文本转为向量。

  2. 通过调用Faiss封装的Python接口提取向量的索引数据,例如量化编码,粗聚类。

  3. 建立两张表:向量表、向量索引表。

    向量表保存向量、文本以及文本id。

    向量索引表保存PQ编码和粗聚类。

  4. 导入数据时,同时写入向量表和向量索引表。

  5. 检索时提供一个用户自定义函数,首先通过向量索引表做检索,查询粗聚类中心;然后做PQ扫描,得到top k向量id;最后通过向量id到向量表检索得到文本。

使用过程中存在的问题

word2vec可以快速实现向量检索功能,但是存在下列问题。

  • word2vec使用PostgreSQL PG的块页式内存和磁盘管理,性能较低。

    PostgreSQL的内存page只有8k,而修改page size需要重新编译代码,加大page size对磁盘刷盘效率的影响。以128 Byte的代码为例,PostgreSQL的内存page只能保存64条记录,扫描PG编码时,会有多次page访问。

  • 使用方式不够友好,不支持数据实时写入。

    向量和索引作为一个独立的表,需要额外写入。 还需要先计算好粗中心和PG编码,然后写入数据库,而不是把粗中心和编码作为索引由PostgreSQL来生成,增加了额外工作。

  • Faiss索引的效率较低,分析型数据库MySQL版向量分析是基于图的索引算法,其性能是Faiss索引性能的10倍。