一个词元需要多少秩？SQUELCH无路由器让活跃秩随词元变化，不加参数还超越LoRA！
How Many Ranks Does a Token Need? A Noise-Floor Squelch for Rank-One LoRA Experts
📖 AI 总结
这篇论文研究LoRA中每个token实际需要多少秩的问题，将其重新定义为信号检测任务。作者发现，token对已训练LoRA各秩一分量的响应表现为少数大值叠加在高斯噪声底之上，噪声底宽度与未训练适配器相当，且主要携带串扰而非适应信息。基于此，论文提出SQUELCH——一种无需路由器的秩一专家混合方法：对每个token的响应按其自身稳健噪声水平进行软阈值处理，使激活秩随token变化；阈值倍数由Stein无偏风险估计自动确定，无需预设秩预算；并通过值Gram矩阵上的解释消除步骤抑制冗余共激活分量、招募互补分量。SQUELCH不增加可训练参数，理论上被证明接近oracle输入依赖分配的对数因子界，阈值选择具有风险一致性。在LLaMA-3.1-8B、Qwen3和DeBERTaV3上的常识推理、知识、数学、代码及GLUE任务中，SQUELCH较LoRA提升2.2至3.2分，较最强混合基线提升0.8至1.2分，平均每token仅激活32个分量中的8.6个。
🔑 关键词速览
| LoRA | 低秩适应，一种通过低秩更新矩阵微调大模型的高效参数方法。 |
| 秩一分量 | LoRA更新中秩为1的矩阵分量，可视为独立的专家方向。 |
| 噪声基底 | 词元响应中由未训练适配器产生的背景噪声水平，用于区分信号与串扰。 |
| Stein无偏风险估计 | 一种无需真实标签即可估计模型预测风险的方法，用于自动选择阈值。 |
| 解释消除 | 一种抑制冗余共激活分量并增强互补分量的稀疏编码步骤。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅