联合预测轨迹和3D姿态,新模型在WorldPose和3DPW上双双超越先前方法,姿态精度提升最大!
Unified Trajectory and 3D Pose Forecasting for Multi-Agent Sports Analysis
arXiv CV (cs.CV) 重要 #轨迹预测#3D姿态#体育分析 🕐 今天 12:00

📖 AI 总结

该论文提出一种面向多智能体体育分析的统一轨迹与三维姿态预测方法。针对团队运动中多个交互球员带来的复杂社会动态,作者设计社会-时间编码器,在输入层融合轨迹与姿态信息,并通过共享的因子化注意力机制对二者联合建模;同时引入逐关节损失重加权以突出动态关节、避免退化解,以及频域轨迹平滑项以改善轨迹预测并间接提升姿态预测。为公平比较,作者识别并纠正了重叠序列构建导致的评估偏差,改用非重叠协议和无oracle的确定性多未来预测策略。在WorldPose和3DPW数据集上,该方法优于以往联合预测方法,姿态精度提升尤为显著,表明联合建模框架可推广至密集交互场景之外。

🔑 关键词速览

socio-temporal encoder一种同时建模智能体间社会交互与时间动态的编码器结构。
factorized attention将注意力分解为多个维度分别计算的机制,用于高效联合建模轨迹与姿态。
per-joint loss reweighting对每个关节的损失赋予不同权重的训练策略,以强调动态关节并避免退化。
frequency-domain trajectory smoothing在频域中对轨迹施加平滑约束的正则项,用于提升轨迹预测质量。
non-overlapping protocol评估时采用不重叠序列构建的协议,以避免因序列重叠导致的评估偏差。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅