📖 AI 总结

本文提出了一种名为分数衰减KV缓存（FD-KVC）的新算法，用于改进基于Transformer的对话系统中的推理相关性。现有KV缓存策略通常对所有缓存条目一视同仁或采用粗粒度驱逐启发式，难以适应对话主题的动态变化。FD-KVC通过双通道评分机制为每个缓存键值对打分：一个累积注意力通道（类似H2O）追踪整体重要性，另一个基于时间衰减和强化学习启发的更新规则衡量近期相关性。这种设计既能保留历史关键信息，又能快速响应主题切换。在五个多轮对话场景（各600个对话）的实验中，FD-KVC相比现有最优基线H2O，在复合后期对齐指标上提升6.7%，其中主题切换场景提升127%，渐进演变场景提升87%，混合主题场景提升30%。此外，FD-KVC适应新主题的速度比H2O快3.6倍，主题多样性达到80.6%。消融实验验证了各组件贡献。该方法完全在CPU上运行，开销可忽略，为对话系统提供了一种更智能的缓存管理方案。

🔑 关键词速览