🔥 今日值得一读 Perplexity用Rust造出Photon引擎,p99延迟从800毫秒暴降至65毫秒!
Perplexity Introduces Photon: A Rust-Based Retrieval Engine That Cuts p99 Latency From 800 ms to 65 ms
MarkTechPost 🔥 重点 Agent论文方法商业化 🕐 09-30 16:26

📖 AI 总结

Perplexity 发布了自研检索与排序引擎 Photon,采用 Rust 编写,用于替换其 AI 原生搜索栈中此前基于开源项目分叉的旧引擎,目前已承载全部生产流量,并支撑搜索 API 新增的 Fast Search 模式。官方数据显示,单次调用延迟为 p50 160 毫秒、p95 230 毫秒,而旧引擎生产环境 p99 延迟接近 800 毫秒,磁盘索引合并期间更会升至约 1.2 秒并持续十至十五分钟,集群部署与同步恢复也可能耗时一周以上。Photon 通过负载均衡、分片组并行检索与两阶段排序、自适应倒排列表、预算化遍历以及紧凑文档记录等设计,缓解了数据超出内存、冷读页错误和合并抖动等问题。该引擎以托管 API 形式提供,按每千次请求 1 美元计费,但本身不开源,无法自托管。

🔍 深度解读 换个视角,同一件事有不同答案

正在读取芙娘的解读…
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅