单次推理评16个动作，比SOTA生成器快300倍！
Action Jets: Learning the Local Shape of the Action-conditioned Data Manifold
📖 AI 总结
本文提出 Action Jets，一种用于动作条件世界模型的高效局部预测方法。作者观察到，在固定状态下，由低维动作（如相机移动或机械臂指令）可达的图像帧实际上分布在一个低维流形上，而短时程规划只需该流形的局部信息。为此，他们训练网络估计每个图像区域沿各动作轴的单位运动，并用轨迹数据拟合一个修正头，以三阶泰勒多项式刻画该流形的局部形状，同时给出有效半径的闭式解。这一方法使得每个状态只需一次推理即可评估任意数量的候选动作：对十六个候选动作打分比原始生成器快三百倍以上，且候选越多优势越明显。在 BridgeData V2 真实七自由度操作基准和 DL3DV 场景上的实验表明，Action Jets 在短时程预测精度上超过其切线来源的 IRASim，计算量却低逾百倍。该工作为降低动作条件预测模型在规划中的计算成本提供了新思路。
🔑 关键词速览
| Action Jet | 一种通过三阶泰勒多项式估计动作条件数据流形局部形状的网络，用于高效评估动作候选。 |
| World Models | 能够预测环境动态的模型，常用于推理和规划任务。 |
| Action-conditioned Data Manifold | 在给定状态下，由不同动作产生的数据点所构成的低维流形。 |
| Taylor Polynomial | 用于近似函数在某点附近值的多项式，这里用于描述流形的局部形状。 |
| BridgeData V2 | 一个真实7自由度机器人操作的基准数据集，用于评估动作条件生成模型。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅