🔥 今日值得一读
ArcFlow一个策略通吃多预算，30任务25个碾压基线！
ArcFlow: Training Flow Policies for Multiple Solver Budgets
👨💼 主理人解读 · 为什么值得关注
让一个流策略在不同推理步数预算下都表现良好，部署时可按算力灵活调节生成步数而不掉点。
📖 AI 总结
该论文提出ArcFlow，一种面向部署的流匹配策略训练算法，旨在解决单一固定求解器预算下强化学习可能掩盖低预算性能退化、甚至破坏预训练策略已有单步行为的问题。ArcFlow通过动作对齐监督、预算暴露和最差预算检查点选择，使同一策略在指定求解器预算范围内均表现良好；针对重建目标与原生速度目标分别给出实现，且不改变模型架构与部署成本。在DM Control、操作与运动等30项任务中，ArcFlow在其中25项上取得五种基线中最高的平均单步回报。消融实验表明边界监督、固定网格桥接、预算暴露与部署选择各自带来互补增益。该工作确立了部署预算感知训练作为单一策略服务多种推理成本的有效路径。
🔑 关键词速览
| Flow Matching | 一种生成建模方法，通过匹配概率流的速度场来学习从噪声到数据的变换。 |
| ArcFlow | 本文提出的部署感知训练算法，旨在单一策略中跨多个求解器预算进行优化。 |
| Solver Budget | 推理时使用的求解器步数，直接影响计算成本和生成质量。 |
| PPO-style Clip | 借鉴近端策略优化（PPO）的裁剪机制，用于限制策略更新的幅度。 |
| Deployment-aware Training | 在训练过程中考虑实际部署时的计算预算，以优化策略在多种推理成本下的性能。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅