该论文提出GSHeadRelight方法,旨在解决3D-aware人像重打光中真实感渲染、实时性能与泛化能力难以兼顾的问题。现有方法多依赖昂贵且有限的光场采集数据做监督,或基于生成式NeRF,导致3D一致性差、实时性不足。作者转而利用生成式3D高斯的最新进展,设计了一种基于统一神经辐射传输表示的照明模型,该模型对入射光呈线性响应。方法仅使用野外拍摄图像进行训练,即取得当前最优的重打光效果,渲染速度较此前3D-aware人像重打光研究提升约12倍。该工作为VR、AR及人像摄影等应用提供了兼顾质量与效率的新方案。
| 3D Gaussian | 3D高斯:一种用于表示3D场景的显式点云表示,每个点携带高斯分布属性,支持高效渲染。 |
| NeRF | 神经辐射场:一种基于隐式神经网络的3D场景表示方法,通过体积渲染合成新视角图像。 |
| Relighting | 重光照:在给定新光照条件下重新渲染场景或对象的技术,常用于人像和虚拟场景。 |
| Neural Radiance Transfer | 神经辐射传递:一种表示光线在场景中传输过程的神经网络模型,用于高效计算光照响应。 |
| Novel View Synthesis | 新视角合成:从一组输入图像生成场景在未观察视角下的图像的技术。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅