VLM让光照估计精准定位物理光源，3D方向准确率从0%飙至70.6%！
LAMP: 3D Source-Aware Lighting Estimation at Multiple Points
📖 AI 总结
现有光照估计方法多用于渲染目的恢复光照分布，却通常无法明确特定场景位置上各个物理光源的具体贡献。针对这一空白，作者提出LAMP框架，利用视觉语言模型（VLM）的场景理解能力，将局部光照与其物理光源建立关联。LAMP从单张RGB图像及标注查询点出发，构建活跃光源清单，为每个查询点排序贡献光源，并预测查询点到光源的三维方向。研究采用程序化控制的室内场景进行监督，复用独立渲染的光源响应生成贡献目标，并从光源与查询点位置获取精确方向。在Infinigen测试集上，微调Qwen3-VL-8B使主导光源三维PCK@0.5m从0%提升至70.6%，正确局部化光源中94.5%的方向误差在12.5度以内。结合轻量级稠密RGB辐照度预测网络，LAMP在探针渲染质量上媲美现有方法，同时实现物理光源的三维定位与局部光照的显式归因。
🔑 关键词速览
| LAMP | 本文提出的点条件、光源感知光照推理框架，可从单张RGB图像和标记查询点估计局部光照及其物理光源。 |
| 视觉语言模型 (VLM) | 结合视觉和语言模态的预训练模型，本文利用其场景理解能力连接局部光照与物理光源。 |
| 3D PCK@0.5m | 一种评估指标，表示预测的3D光源方向与真实方向在0.5米阈值内的正确关键点百分比。 |
| RGB辐照度 | 描述单位面积上接收到的红绿蓝三通道光辐射通量的物理量，用于渲染和光照分析。 |
| 探针渲染 | 在场景中放置虚拟探针以渲染其接收的光照，用于评估光照估计质量的方法。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅