🔥 今日值得一读
跨词表投机解码新突破！通信负载直降，生成速度飙升
X-CoSD: Communication-Efficient Cross-Vocabulary Collaborative Speculative Decoding
📖 AI 总结
本文研究协作式推测解码（CoSD）这一分布式大模型推理框架，其中端侧小模型负责起草候选词元，服务器端大模型负责验证。现有方法假设两端共享词表，且残差重采样需在设备与边缘服务器之间交换词元分布，导致通信开销巨大。为此，作者提出跨词表协作式推测解码框架X-CoSD，面向异构词表场景，实现无损且通信高效的推理。其核心是混合重采样（HR），将残差重采样拆分到设备端的公共词表区域与服务器端的独有词表区域，使分布传输仅限公共词表部分。作者进一步提出增强变体X-CoSD-E，基于服务器重采样与设备验证（SR-DV），服务器仅发送采样得到的替换候选及其概率，由设备本地验证。研究证明两种方法均能保持服务器大模型的输出分布，实验表明其在维持与服务器模型相当生成质量的同时，显著提升了词元生成速度。
🔑 关键词速览
| 协作投机解码 (CoSD) | 一种分布式LLM推理框架，由设备端小模型起草候选词元，服务器端大模型并行验证，以加速生成。 |
| 跨词表CoSD (X-CoSD) | 本文提出的方法，支持设备端SLM与服务器端LLM使用不同词表，实现无损且通信高效的协作投机解码。 |
| 混合重采样 (HR) | 将残差重采样按词表区域拆分：公共词表部分在设备端处理，LLM专属部分在服务器端处理，减少通信量。 |
| 服务器重采样与设备验证 (SR-DV) | X-CoSD-E采用的策略：服务器仅发送替换候选及其概率，设备端本地验证，进一步降低通信开销。 |
| 残差重采样 | 投机解码中用于修正草稿模型与目标模型分布差异的采样步骤，传统方法需交换完整词元分布。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅