该研究提出 Heartian,一个生理感知的可重光照高斯头部化身框架,首次将心脏搏动引起的细微肤色变化建模为面部皮肤区域高斯的逐帧反照率调制,从而在化身中编码可远程光电容积描记(rPPG)信号。方法以接触式 PPG 为监督,将心脏波形建模为两个高斯函数之和,并通过轻量 MLP 学习逐帧空间残差。在 UBFC-rPPG、PURE 和 MMPD 的 152 段静态录制中,属性空间信号恢复的录音级心率 MAE 为 0.29 bpm,MAPE 为 0.38%;渲染后信号仍可被基准 rPPG 方法检测,最佳配置在 MMPD 化身上的 MAE 为 0.97 bpm,MAPE 为 1.21%,同时重建质量几乎无损,PSNR 平均仅下降 0.005 dB。该工作表明可恢复的生理信号可作为可控材质属性嵌入个性化头部化身,为虚拟人真实感与生理一致性提供了新思路。
| Gaussian head avatar | 使用3D高斯表示来建模和渲染的头部三维化身,支持可重光照和动态外观。 |
| rPPG | 远程光电容积描记,一种通过分析视频中皮肤颜色细微变化来测量心率等生理信号的非接触技术。 |
| albedo modulation | 反照率调制,指改变物体表面反射率以模拟颜色变化的过程,这里用于编码心脏引起的肤色变化。 |
| TS-CAN | 一种用于rPPG信号提取的时空卷积注意力网络,常作为基准方法。 |
| MAE | 平均绝对误差,衡量预测值与真实值之间平均绝对差异的指标,常用于心率估计评估。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅