🔥 今日值得一读
语音LLM压缩新突破！ASSET用强化学习自适应切分，省25%音频标记还追平预言机性能！
ASSET: Adaptive Speech Segmentation via Reinforcement Learning
👨💼 主理人解读 · 为什么值得关注
可用来降低语音LLM输入长度、节省推理成本，开发者可将其作为声学编码器与LLM解码器间的压缩模块。
📖 AI 总结
本文提出ASSET，一种基于强化学习的语音分段框架，旨在解决语音大语言模型中声学编码器输出序列过长、而LLM对输入长度扩展性差的问题。ASSET通过将编码器输出划分为时长可变的片段，并将每段池化为一个连续音频token来实现自适应压缩，采用组相对策略优化（GRPO）训练分段器，以任务性能反馈和token速率惩罚为奖励信号。在英语LibriSpeech的自动语音识别实验中，ASSET在减少约25%音频token的情况下达到了与转录辅助字符边界oracle相当的性能；在中文AISHELL上，以相近token速率超越了音素边界oracle。非ASR任务的探索性实验进一步表明，框架适配到转录之外的任务时，学习到的分段方式会随之改变。该工作为语音LLM的输入压缩提供了任务驱动的自适应方案。
🔑 关键词速览
| ASSET | 一种基于强化学习的自适应语音分割框架，通过将编码器输出划分为可变时长片段并池化为连续音频标记来压缩序列。 |
| GRPO | 组相对策略优化，一种强化学习算法，用于训练分割器，利用任务性能反馈和标记率惩罚。 |
| 声学编码器 | 预训练的模型组件，将原始音频转换为声学特征序列，作为语音大语言模型的音频接口。 |
| 音频标记 | 连续的向量表示，由每个可变时长片段池化而来，用于压缩编码器输出并输入到LLM解码器。 |
| 标记率惩罚 | 在强化学习训练中引入的惩罚项，用于控制输出音频标记的数量，鼓励更高效的压缩。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅