🔥 今日值得一读
KVLearn让首令牌时间最高降56%，超LRU-Pool 38%！
To Keep or Not to Keep: Learning KV Cache Retention in Disaggregated LLM Serving Systems
👨💼 主理人解读 · 为什么值得关注
针对分离式推理架构优化KV缓存淘汰与准入，减少带宽浪费和重算，可直接用于提升大模型服务吞吐。
📖 AI 总结
该论文针对分离式LLM服务架构中KV缓存保留策略失效的问题展开研究。在prefill与decode分离部署下，缓存未命中不仅触发本地重算，还需跨节点传输，而缓存准入同样带来额外传输开销，传统缓存策略的假设不再成立。作者提出KVLearn学习型框架，包含前缀复用预测器、成本感知保留评分和自适应阈值控制器三个组件，将复用概率结合重算、传输与存储成本转化为保留或准入决策，并在线调整阈值。在文本与多模态负载上的实验表明，相比无缓存、LRU-Pool和Mooncake类基线，首token时延最多降低56%、38%和33%，节点间KV传输量较LRU-Pool减少最多53%，多模态会话场景吞吐接近最优水平。该工作为分离式服务中的缓存管理提供了成本感知的学习化思路。
🔑 关键词速览
| Disaggregated LLM Serving | 将LLM推理的预填充和解码阶段分离到不同节点池的架构，以优化资源利用。 |
| KV Cache | Transformer模型推理时缓存键值对以加速自回归生成，避免重复计算。 |
| Prefix Reuse Predictor (PRP) | KVLearn中的轻量级组件，基于前缀特征预测缓存块的重用概率。 |
| Cost-Aware Retention Score (CARS) | 将重用概率与重新计算、传输和存储成本结合，生成缓存保留决策的评分机制。 |
| Time-to-First-Token (TTFT) | 从请求发出到生成第一个令牌的延迟，是衡量LLM服务响应速度的关键指标。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅