VLM做心率监测总翻车？新框架VITAL双通路对齐，跨域性能飙升！
Why Do VLMs Fail at Remote Physiological Measurement? Rethinking with Physiological Grounding and Numerical Alignment
📖 AI 总结
该研究探讨了视觉语言模型（VLMs）在基于视频的远程生理测量（RPM）任务中表现不佳的原因，并指出两大瓶颈：一是通用视觉语义表征无法保留细粒度的生理线索，二是自回归生成中的离散token预测与连续数值测量之间存在固有错位。为解决这些问题，作者提出VITAL框架，在保留原有视觉通路以维持语义理解能力的同时，引入独立的生理通路联合建模语义与生理信息，并采用结构化数值对齐方法提升生成式心率估计的可靠性。实验表明，VITAL在多个rPPG数据集上提升了跨域估计性能，同时保留了VLMs的通用视觉理解能力，为构建统一的视觉-生理模型提供了可行路径。
🔑 关键词速览
| Remote Physiological Measurement (RPM) | 基于视频的非接触式生理信号测量，如通过面部视频估计心率。 |
| Vision-Language Models (VLMs) | 能够同时处理视觉和语言信息的多模态大模型，具备跨模态理解与生成能力。 |
| rPPG | 远程光电容积描记术，通过分析视频中皮肤颜色的微小变化来提取生理信号。 |
| Visual-physiological Token Alignment | 将视觉标记与生理信号标记在特征空间中对齐，以融合语义与生理信息。 |
| Structured Numerical Alignment | 一种通过建模数值间关系来提升生成式数值估计准确性的对齐方法。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅