📖 AI 总结

Pinterest 工程团队为应对数百亿级嵌入向量的搜索扩展难题，对其分布式搜索平台 Manas 的向量索引策略进行了系统性优化。由于传统 HNSW 算法内存占用过高，团队引入标量量化（SQ）与乘积量化（PQ）压缩向量表示。离线测试显示，SQ 在保持 90% 以上召回率的同时实现约 60% 的索引压缩，PQ 压缩率可达 74% 至 93%，但召回率降至 70% 至 80%。在线实验表明，两种量化方案使生产服务成本降低 20% 至 30%。在 SSD 服务方面，采用 PQ 的 SPANN 吞吐量达 DiskANN 的三倍，延迟仅为其三分之一，召回率仅下降 5%。在超 50 亿向量的推荐场景中，SPANN 相比全内存 HNSW 节省逾 40% CPU 时间。此外，Pinterest 正探索 ColBERT 等多向量后期交互模型以提升检索精度。