换脸不重绘,只调光影!新方法改动56.5%面部像素,色相零漂移
Geometry-Driven Shadow Harmonisation for Composited Faces: A Multiplicative, Albedo-Preserving Relighting Pipeline
arXiv CV (cs.CV) 论文方法多模态 🕐 09-17 12:00

📖 AI 总结

本文提出一种面向人脸合成与换脸场景的阴影协调方法,旨在解决合成人脸几何对齐但光照不一致的问题:供体人脸通常带有平坦的正面影棚光,而宿主身体与背景则处于有方向性的场景光下。与依赖颜色迁移、神经重光照或逆向渲染的现有方案不同,该方法采取保守策略,不重绘人脸,而是通过几何驱动的形式阴影注入实现协调。具体做法是从栅格化的三维人脸代理中估计逐像素增益场,并将其通道均匀地乘到线性RGB上,因此只能压暗而不会改变色度,色调不变性成为该算子的自然推论。关键光方向由宿主侧线索估计,人脸侧线索被降权以避免恢复供体原有光照。阴影强度由三参数传递函数控制,而非直接匹配宿主。在解析人脸高度场上,默认参数使56.5%的人脸像素被修改,平均增益0.938,修改像素上为0.890,3.4%的像素降至下限。作者还给出了闭式分析、参数消融,并讨论了单调压暗公式的失效模式,如非平坦供体的双重阴影问题。该工作为合成人脸的光照协调提供了一种可解释、低风险的替代思路。

🔑 关键词速览

Geometry-Driven Form-Shadow Injection一种基于3D几何代理生成形体阴影并注入到面部图像中的重光照方法,仅使图像变暗而不改变色度。
Per-Pixel Gain Field逐像素的增益场,每个像素对应一个乘性系数,用于调整该像素的亮度。
Albedo-Preserving Relighting保持反照率(即物体固有颜色)不变的重光照技术,避免改变肤色和纹理。
Screen-Space Cast Shadows在屏幕空间计算投射阴影,基于深度缓冲区判断像素是否被遮挡。
Hue Invariance色相不变性,指处理前后颜色的色相保持不变,仅亮度发生变化。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅