🔥 今日值得一读
miniTE框架破解原生NVFP4强化学习执行鸿沟，吞吐量达BF16的1.39倍！
miniTE: Diagnosing and Bridging the Execution Gap in Native NVFP4 Reinforcement Learning
👨💼 主理人解读 · 为什么值得关注
用NVFP4做RL训练时训练与采样引擎数值不一致会崩，该框架可诊断对齐，稳定W4A4训练。
📖 AI 总结
该论文研究大语言模型强化学习中原生NVFP4低精度计算的执行一致性问题。作者指出，仅对齐模型权重和数值格式并不足以保证训练引擎与采样引擎之间策略评估的一致性，跨引擎的数值执行差异才是关键。为此提出轻量框架miniTE，结合执行诊断、跨引擎数值对齐和高效原生W4A4 GEMM计算，在不修改强化学习目标的前提下提升数值执行一致性并降低实现开销。在Qwen3-30B-A3B上的长程强化学习实验显示，训练稳定，基准表现接近BF16，评估质量优于朴素Transformer Engine NVFP4方案；在单台NVIDIA B300节点上，优化后的学习器达到每秒33540个token，完整学习器更新的吞吐量分别为BF16和TE NVFP4的1.39倍和1.47倍。作者已开源框架、内核、诊断工具和训练配置，以降低原生低比特强化学习的应用门槛。
🔑 关键词速览
| NVFP4 | NVIDIA提出的4位浮点数值格式，用于在GPU上加速低比特模型训练与推理。 |
| W4A4 GEMM | 权重和激活均为4位精度的通用矩阵乘法，是低比特计算的核心算子。 |
| 跨引擎数值执行 | 指训练引擎与采样引擎之间在数值计算上保持一致性的执行过程。 |
| Transformer Engine (TE) | NVIDIA推出的用于加速Transformer模型训练的库，支持多种低精度格式。 |
| 长时程RL | 指训练步数多、序列长的强化学习任务，对数值稳定性要求较高。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅