向量Bucket概述

向量 Bucket 是阿里云对象存储 OSS 提供的一种专门用于存储、查询和管理向量数据的 Bucket 类型。具有低成本、大规模和简单易用的特点,面向多模态检索、知识库、RAG、AI Agent等 AI 场景提供向量存储和向量查询的能力。可以将任何通过第三方服务生成的向量数据写入向量 Bucket数据。同时,支持对海量原始数据与向量数据进行统一治理,对原始数据 Bucket 与向量 Bucket 配置相同的 Bucket Policy,或通过统一格式导出日志以便审计。

核心概念

  • 向量 Bucket:全新 Bucket 类型,是管理大规模向量数据的云资源。

  • 向量 Index:可以在向量 Bucket 中创建向量 Index。向量 Index 是存储向量数据的索引表,可以根据业务类型在同一个向量 Bucket 中创建多张向量 Index,用以存储不同业务的向量数据。当发起检索查询时,会根据向量 Index 中向量数据的相似性来返回检索结果。

  • 向量数据:通过向量模型将图片、视频、文档等非结构化数据转换成的高维数值数组,用以表征其内容特征。向量检索正是根据向量数据的相似性进行检索结果返回。可以利用任何向量化服务(如ECS、PAI、阿里云百炼)生成向量,并通过 OSS API、SDK 或 ossutil 工具将其写入指定向量索引。在写入时,还可以附加元数据(Metadata),用于后续的标量过滤查询。

产品优势

  • 低成本:向量数据已成为各类 AI 应用的必要基础设施,正呈现爆炸式增长的趋势。向量 Bucket 采用简洁友好的计费模式,仅根据向量数据存储容量和检索扫描数据量两个计费项进行计费,较传统方式的使用成本可以大幅度下降 90% 以上。

  • 大规模:OSS 向量 Bucket 采用面向大规模向量数据存储的架构设计,可以承载海量向量数据的存储需求。OSS 采用 Serverless 的弹性扩缩容架构,使用向量 Bucket 后,无需关心扩容问题。

  • 简单易用:OSS 向量 Bucket 提供完整的 API、SDK和命令行工具ossutil。同时,也支持在 OSS 控制台进行管控和向量数据读写操作,如向量数据的检索查询、向量数据的添加、批量插入等。

  • 统一管理:可以为向量 Bucket 和存储海量原始数据的 Bucket 通过相同的方式进行管理,如通过相同方式配置 Bucket Policy 来进行权限管理,配置相同的日志导出路径来进行操作审计。

  • 语义检索:可以使用向量 Bucket 提供的 QueryVectors 接口对索引表中的向量数据进行查询,并获取按照相似性进行排序的检索结果。与此同时,OSS 向量 Bucket 支持根据标量元数据进行过滤查询,可以在将向量数据写入 OSS 向量 Bucket 时,携带标量元数据,以达到标量后过滤的效果。同时,在创建向量索引 Index 时,可以设置非过滤元数据。非过滤元数据无法作为后过滤条件,但会随检索结果返回,作为向量结果的内容描述信息。

应用场景

场景一:构建低成本的 RAG 应用

随着 AI 业务发展,向量数据规模呈指数级增长,存储和检索成本压力日渐增加。对于知识库、AI 助手、医疗影像检索等多模态检索场景,用户对检索延迟的容忍度逐渐放宽(可能从几十毫秒到百毫秒级)。此时,使用向量 Bucket 作为 RAG 应用的向量存储底座,能以极低的成本满足业务需求。

场景二:构建分层检索的 AI Agent

不同的 AI Agent 对检索性能的要求各异。可以将全量向量数据集中存储在成本极低的 OSS 向量 Bucket 中;对于需要高性能、低延迟的业务场景,再将热点数据同步至其他产品如表格存储 Tablestore 中进行高性能检索,以构建分层检索 AI Agent 应用架构。

场景三:构建数据统一管理的 AI 内容管理平台

AI 应用带来海量非结构化内容(UGC、内部资料、AI 生成内容)与相应的向量化结果,存储与检索体系容易割裂。通过将原始数据存入通用 OSS Bucket,向量数据存入 OSS 向量 Bucket,可构建高效的 AI 数据管理平台,如 AIGC 数据管理等。仅需一套 API/SDK 即可同时管理和访问原始文件与向量索引,轻松构建高效、统一的 AI 内容管理平台。

企业级特性

域名访问

提供独立的公网和内网访问域名,与通用 OSS Bucket 隔离。

  • 公网访问域名$bucketname-$uid.regionID.vectors.aliyuncs.com

  • 内网访问域名$bucketname-$uid.regionID-internal.oss-vectors.aliyuncs.com

注意:除 ListVectorBuckets 操作外,其他操作必须使用三级域名。

安全传输

支持通过 HTTPS 协议进行加密传输,保障数据在传输过程中的安全。

访问控制

  • Bucket Policy:支持基于资源的授权策略,可将权限控制精确到向量 Bucket、单个或多个向量索引级别。

  • RAM Policy:支持基于身份的 RAM 授权策略,能够对向量 Bucket、向量索引及数据操作进行细粒度权限控制,同时支持跨账号访问授权。

日志

  • 访问日志转存:支持将访问日志实时或准实时转存到指定的 Bucket 中。

  • 统一日志格式:日志格式与通用 OSS 日志完全兼容,并额外增加了 BucketARN 字段,用以唯一标识向量 Bucket 资源,方便进行统一的日志分析。

计费说明

该功能目前处于免费邀测中,请前往向量Bucket页面进行试用申请。