📖 AI 总结

本文提出 RBS-Attention，一种无需训练的稀疏预填充方法，用于缓解长上下文大语言模型推理中密集自注意力带来的预填充瓶颈。作者指出，传统稀疏块选择以块质心衡量相关性，可能掩盖块内个别高度相关的 token，并将这一失效模式称为“均值稀释”。为此，方法设计了两条互补的选择分支：质心基分支捕捉平均相关性，救援分支则利用最大键块半径及其随提示、层和头变化的分布，识别可能被低估的块；两分支分别阈值化后合并掩码，在保留常规块稀疏 FlashAttention 执行的同时控制救援块的贡献。在 H100 GPU 上，该方法于 128K 上下文、Qwen3-30B-A3B-Instruct-2507-FP8 模型上实现 20.65 倍独立预填充注意力加速、11.92 倍 vLLM 预填充注意力加速和 5.97 倍端到端首 token 时间加速；在密集 Qwen3-32B 上取得 88.65 的 RULER 总体准确率，接近密集注意力的 89.52，并在 LongBench-v2、InfiniteBench 和 Video-MME 上提供额外质量评估。结果表明，半径自适应的双分支选择是提升长上下文预填充效率的有效途径。

🔑 关键词速览