🔥 今日值得一读
图像扩散模型秒变3D动作生成器，跨骨骼布局共享训练性能再飙升！
Image Diffusion Models Are Good 3D Human Motion Generators
👨💼 主理人解读 · 为什么值得关注
开发者可复用图像扩散模型生成多骨架3D动作，无需专用架构。
📖 AI 总结
该研究探讨了图像扩散架构能否通过一种兼容图像的通用表示来建模3D人体运动，从而适配不同骨骼结构并保留运动学特征。为此，作者将根节点为中心的人体关节轨迹组织为融入拓扑信息的关节—时间图像，并通过一个互补的潜在流建模全局根节点动态。运动自编码器以根节点潜在变量为条件解码局部运动，文本条件化的可扩展插值Transformer（SiT）联合生成两路潜在流，并通过对解码后的3D关节位置施加监督来进一步约束生成。除数据集专用模型外，作者在HumanML3D和KIT-ML上训练了单一运动自编码器和共享的文本条件SiT，无需将骨骼重定向到统一关节布局。实验表明，数据集专用模型达到当前最优性能，而共享训练在两个基准上均带来进一步提升，说明跨异构骨骼布局的共享建模具有明显优势。
🔑 关键词速览
| 文本到动作生成 | 根据自然语言描述生成对应的3D人体动作序列的任务。 |
| 图像扩散模型 | 一类基于扩散过程的生成模型，通常用于图像合成，本文将其架构迁移至3D动作生成。 |
| 关节-时间图像 | 将关节轨迹按拓扑结构排列成二维图像形式，以便利用图像扩散架构处理。 |
| 可扩展插值Transformer (SiT) | 一种基于Transformer的扩散模型，通过插值过程生成潜在变量，本文用于联合生成动作潜在流。 |
| 骨骼布局 | 人体骨骼中关节的连接方式和层级结构，不同数据集可能采用不同的关节定义。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅