📖 AI 总结

Fathom 针对长上下文智能体场景下 KV 缓存卸载至主机内存后、键扫描成为解码瓶颈的问题，提出一种按查询自适应决定读取深度的稀疏解码方法。其核心是将 4 位 K 缓存按通道主序存储为位平面，使前 t 个位平面恰好构成该通道的 t 位量化器，查询再依据各通道方差加权重要性进行反向注水分配比特预算。在 Qwen3-8B 百万级 token 测试中，单步解码 GPU 时间比 Double Sparsity、Loki 和 SparQ r=32 的 136 位扫描快 1.67 倍；在与 SparQ 68 位读取相同的 GPU 时间内，Fathom 读取字节数减少 18%，且在七种模型与上下文设置中的六种取得更低注意力误差。RULER 类任务上每次 token 扫描均与精确 top-k 解码一致，真实编码智能体会话中仅需 92 位即达到最精确 136 位扫描的步骤一致率。该方法复用量化服务栈已有的 4 位 K 副本，无需额外存储，但在索引驻留 GPU 显存时不再具备速度优势。

🔑 关键词速览