🔥 今日值得一读
视觉词元压缩新突破：不选词元改速率，同一压缩图任意问答都更强！
Query Independent Variable Rate Visual Token Coding
👨💼 主理人解读 · 为什么值得关注
做多轮对话或端云传输时，视觉token压缩别再依赖当前问题，本文方法让缓存一次、多次复用更稳。
📖 AI 总结
这篇论文针对视觉语言模型中的视觉token压缩问题提出了新思路。现有方法多将压缩视为“选择”问题，依据语言模型对token的注意力进行排序并剪枝，但该排序依赖于具体提问，导致压缩表示无法跨轮次或跨设备复用。作者转而采用变换编码工具包的另一半思路：保留全部token，但为其分配不同的编码速率。方法通过测量每个token的失真—速率曲线，在固定比特预算下进行精确的整数速率—失真优化来分配比特，且整个流程不引入任何文本信息，因此同一压缩表示可服务于任意查询。在相同比特预算下，于两个数据集和两种模型容量上，该方法在保持模型输出分布和答案准确性方面优于均匀速率编码、闭式注水法和按失真排序的剪枝；在与剪枝方法调优所针对的同一问题上与其持平，而当同一图像需回答不同问题时则实现超越。
🔑 关键词速览
| 视觉词元压缩 | 减少视觉-语言模型中视觉词元数量的技术，以降低存储和传输成本。 |
| 变换编码 | 一种信号压缩方法，通过变换将信号分解为不同频率分量，并对每个分量分配不同的比特率。 |
| 速率-失真优化 | 在给定比特预算下最小化失真，或在给定失真下最小化比特率的优化方法。 |
| 注水法 | 一种最优比特分配策略，根据信道或子带的质量分配比特，质量好的分配更多比特。 |
| 注意力排序剪枝 | 根据语言模型对词元的注意力分数排序，保留高分词元、丢弃低分词元的压缩方法。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅