Perplexity 将核心搜索服务从 Amazon DynamoDB 迁移至自研的 Rust 分布式键值存储 CobbleDB,以应对大语言模型检索场景下的延迟与成本瓶颈。其查询模式需为每次请求提取 100 至 120 个页面键,平均载荷约 50 KB,在每秒超 20 万次请求下,DynamoDB 按字节计费的模式成本高昂,且黑盒架构导致尾延迟难以控制。新架构将存储拆分为持久化的 Pillar、批量聚合的 Lorry 和低延迟服务的 CobbleDB,通过解耦持久化与热数据层、采用异步复制与同区读取等策略优化性能。生产数据显示,批量读取延迟中位数从 31.4 毫秒降至 5.60 毫秒,p99 从 123 毫秒降至 24.2 毫秒,存储费用至少降低 20%。代价是需自行承担节点运维与最终一致性。该项目由两名工程师借助 AI 编码智能体在两个月内完成,约 4 万行 Rust 代码,并计划开源。
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅