多模态训练老翻车？CAT-GS一招稳梯度，性能碾压OGM-GE等强基线！
CAT-GS: Balanced Multimodal Learning via Calibrated Gating and Fusion Surgery
📖 AI 总结
该论文提出了一种名为CAT-GS的多模态学习优化方法，旨在解决端到端训练中常见的三个耦合问题：模态不平衡、门控不稳定和融合干扰。CAT-GS在反向传播阶段运作，无需修改模型架构或损失函数，通过温度缩放和EMA平滑校准教师模型可靠性，并采用边际阈值策略在多种训练模式间切换，同时利用梯度预算重归一化稳定梯度幅度，以及融合专用的PCGrad减少跨模态梯度冲突。在CREMA-D、AV-MNIST、VGGSound等多个音视频基准及三模态UR-FUNNY数据集上的实验表明，CAT-GS在融合精度上优于或匹配OGM-GE、G²D等强基线方法，同时表现出更平滑的门控行为和更少的梯度冲突。该研究为多模态神经网络的稳定训练提供了有效的通用优化方案。
🔑 关键词速览
| CAT-GS | 一种基于神经动力学的多模态优化控制器，通过校准门控和融合手术来平衡模态学习。 |
| 模态不平衡 | 多模态训练中一个模态分支主导梯度更新，导致其他模态学习不足的现象。 |
| 门控不稳定 | 由于噪声置信度信号导致模态选择在训练中波动不稳定的问题。 |
| 融合干扰 | 不同模态的梯度在共享融合层相互冲突，损害整体学习效果的现象。 |
| PCGrad | 一种梯度投影方法，用于减少多任务或多模态学习中的梯度冲突。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅