AlloyDB ScaNN 如何将向量搜索扩展到 100 亿向量
核心亮点
Google Cloud 宣布 AlloyDB 的 ScaNN 向量索引正式支持超过 100 亿向量的规模。借助全新推出的四层树架构(预览版),系统把查询复杂度从 O(N^1/2) 降到 O(N^1/4),在 100 亿向量下仍能把 p95 延迟控制在 51 毫秒以内,并保持 95% 的召回率。结果是提供了一条托管、兼容 PostgreSQL 的超大规模嵌入检索路径,无需再单独搭建专用系统。
具体能力或事件经过
ScaNN 是 Google 自研的向量检索方案,此次扩展针对超大规模嵌入检索场景。过去,当向量库膨胀到十亿级以上,传统索引要么延迟飙升,要么召回率下滑。四层树架构通过分层裁剪,让检索在每一层只展开必要的子树,从而把计算量压到接近四次根号级别。新用户可参考快速入门指南部署,并享受 30 天免费试用,降低了在生产规模上做实验的门槛。
技术细节
四层树的核心思想是分而治之。顶层负责粗粒度聚类,逐层向下细化,每一层只保留与查询向量最近的若干分支。相比扁平化索引需要扫描大量候选,树状结构把搜索空间随层数指数收缩。复杂度从 O(N^1/2) 降至 O(N^1/4),意味着向量数增长 10000 倍时,查询代价仅增长 10 倍。在内部测试中,100 亿向量规模下 p95 延迟不超过 51 毫秒、召回率达 95%。
与竞品对比
相比 pgvector 在亿级向量后就明显吃力,以及部分专用向量数据库需要独立运维,AlloyDB 把 ScaNN 直接做进兼容 PostgreSQL 的托管数据库,省去额外组件。四层树带来的复杂度下降,使它在十亿到百亿区间具备明显性价比优势,尤其适合已用 AlloyDB 存业务数据的团队顺带接入向量能力。独立向量库仍可能在细分功能上胜出,但这里的运维简洁性难以忽视。
行业影响或适用场景
简单来说,这让"在百亿级知识库里秒级找相似"变得可负担。推荐系统、语义检索、多模态去重、RAG 记忆层都能直接受益。对不想维护独立向量库的中大型团队,AlloyDB ScaNN 提供了一条低门槛、高上限的平滑路径,能随现有运维模式一起扩展。30 天试用降低了首次实验的风险,快速入门则缩短了从想法到可用索引的时间。