🔥 今日值得一读
视频扩散先验加持，稀疏视角4D重建PSNR飙升近2dB！
4DGS-Fixer: Generative Sparse-View 4D Gaussian Splatting with Iterative Refinement Guided by Video Diffusion Priors
👨💼 主理人解读 · 为什么值得关注
稀疏多视角视频做动态重建时，可用它借视频扩散先验补全缺失几何，改善4DGS初始化与渲染质量。
📖 AI 总结
本文提出4DGS-Fixer，一种基于视频扩散先验的迭代细化框架，用于从稀疏视角视频合成动态场景。现有稀疏视角4D高斯泼溅方法依赖几何先验或自适应优化，但无法从根本上解决观测不足导致的病态问题，且COLMAP在少量输入视角下重建的点云稀疏不完整，使大片区域缺乏高斯支撑、难以通过后续优化恢复。为此，作者首先估计多视角深度图并融合为稠密点云，为动态4DGS提供更完整的几何初始化；随后利用预训练视频修复模型，对不同时间步沿新相机轨迹渲染的序列进行细化，将修复结果作为伪监督对4DGS表示进行正则化和迭代优化。在常用基准数据集上，该方法显著优于现有基线，PSNR较此前最佳方法提升近2 dB。该工作已被SIGGRAPH Asia TC接收。
🔑 关键词速览
| 4D Gaussian Splatting (4DGS) | 一种将3D高斯泼溅扩展到时间维度的动态场景表示方法，可对随时间变化的4D场景进行高效渲染。 |
| Sparse-View | 指仅使用少量输入视角（如几张或十几张图像）进行三维重建或新视角合成的设定。 |
| Video Diffusion Model | 一种基于扩散过程的生成模型，能够从噪声中逐步生成或修复视频序列，常用于提供时序一致的先验。 |
| Iterative Refinement | 一种通过多轮迭代逐步优化模型或表示的策略，每轮利用当前结果生成伪监督以提升下一轮质量。 |
| COLMAP | 一种经典的运动恢复结构（SfM）与多视角立体（MVS）工具，常用于从图像中重建稀疏点云和相机位姿。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅