🔥 今日值得一读
多智能体协作通信量砍36倍，推理提速3倍，准确率飙升23%！
Task-Oriented Key-Layer KV Communication for Efficient Latent Multi-Agent Collaboration
👨💼 主理人解读 · 为什么值得关注
让多Agent只传任务相关的关键层KV状态，减少通信量同时保持协作效果。
📖 AI 总结
该研究针对大语言模型多智能体系统中潜在通信开销过高的问题，指出现有基于KV的潜在通信方法过度追求发送端状态保真度，导致大量冗余信息与计算负担。为此，作者从任务导向视角重新定义潜在通信目标，将其从发送端状态保真转向接收端任务充分性，并提出免训练框架KITE。KITE通过接收端轨迹失真准则识别任务有效的关键层，仅传输该层对应的潜在工作记忆，并以同一层作为自回归潜在推理的入口。在两种模型家族、三种模型规模的七个基准测试中，KITE相较全层KV通信将通信量降低28至36倍，端到端推理提速最高达3倍，准确率最高提升23.3个百分点，为高效多智能体协作提供了新思路。
🔑 关键词速览
| 潜在通信 (Latent Communication) | 多智能体系统中直接传输模型内部状态（如KV缓存）而非自然语言文本的通信方式，旨在降低推理成本。 |
| KV通信 (KV Communication) | 基于键值缓存（Key-Value Cache）的通信，通过传输Transformer模型中的键值对来传递信息。 |
| 关键层 (Key Layer) | 在任务导向通信中被识别为对接收端任务最有效的特定Transformer层，仅传输该层的潜在状态。 |
| 接收端轨迹失真 (Receiver Trajectory Distortion) | 一种衡量接收端推理轨迹因通信而偏离原始轨迹程度的准则，用于选择任务有效关键层。 |
| 自回归潜在推理 (Autoregressive Latent Reasoning) | 在潜在空间中进行自回归推理，以关键层作为入口点，逐步生成潜在表示而非自然语言token。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅