🔥 今日值得一读
微控制器上的视觉模型也能自我修复了！仅前向TTA让整数模型现场适应，精度提升20.9个百分点，不靠反向传播也能逆袭！
FORGE: Forward-Only Test-Time Adaptation for Integer-Only Vision Models on Microcontrollers
👨💼 主理人解读 · 为什么值得关注
让量化视觉模型在微控制器上无需反向传播即可适应数据分布变化，提升边缘设备鲁棒性。
📖 AI 总结
本文提出了一种名为FORGE的前向-only测试时自适应方法，专为微控制器上部署的整数-only视觉模型设计。研究指出，整数推理中必需的批归一化（BN）融合步骤会破坏归一化统计信息，导致现有自适应方法失效。FORGE通过重新归一化每个融合卷积层的逐通道输出至干净训练统计量，仅依赖前向传播估计，从而恢复模型适应能力。实验显示，该方法在精度提升上接近梯度-based TENT（+20.9 vs +24.9点），且是唯一能在折叠整数模型上运行的方法；仅需调整21层中的3层即可获得93%的收益，并支持单样本流式处理。在ESP32-S3微控制器上，FORGE的额外能耗仅为8.3 mJ（占推理能耗6.8%），耗时21.9毫秒，验证了其在实际硬件上的高效性。该研究为资源受限设备上的模型自适应提供了可行方案。
🔑 关键词速览
| Test-Time Adaptation (TTA) | 测试时自适应，指在模型部署后，利用测试数据调整模型以应对分布偏移的方法。 |
| Integer-Only Vision Models | 仅整数视觉模型，指权重和激活均量化为整数（如int8）的模型，适用于无浮点单元的微控制器。 |
| Batch Normalization (BN) Folding | 批归一化折叠，将BN层参数融合到前一层卷积中，是整数推理的强制步骤，但会丢失BN的统计信息。 |
| Forward-Only Adaptation | 仅前向自适应，指仅通过前向传播调整模型，无需反向传播，适合推理专用运行时。 |
| TENT | 一种基于梯度的测试时自适应方法，通过最小化预测熵来更新模型参数。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅