本文提出 PhyProbe,一种用于评估生成视频物理一致性的新方法。现有方案存在明显局限:依赖现成视觉语言模型的方法往往对物理动态"视而不见",而基于人工标注微调的评估器则容易过拟合数据集特定线索,泛化能力差。核心难点在于现有监督信号只能提供相对排序或绝对分数,难以在不同场景下同时可靠地兼顾两者。PhyProbe 的做法是从冻结的预训练时空编码器中提取特征,通过轻量评分头映射为标量的物理一致性违背分数,并采用统一目标训练,融合成对排序、含噪标量回归和基于锚点的校准。实验表明,PhyProbe 在多数成对基准上优于既有方法,在无对应关系和生成-生成对比等场景中提升尤为显著,与人类判断高度相关,且排序指标与线性指标结果一致,说明其分数既有序又稳定锚定在 [0,1] 区间。此外,尽管未使用显式通用偏好标签,PhyProbe 在人类偏好基准上同样表现不俗,印证了物理违背与更广泛的质量退化相互纠缠。
| PhyProbe | 本文提出的物理一致性评估器,基于冻结的预训练时空编码器和轻量级评分头,输出标量违反分数。 |
| 物理一致性 (Physical Consistency) | 生成视频中的物体运动、交互等是否符合真实物理规律,是视频生成质量评估的核心维度。 |
| 时空编码器 (Spatio-Temporal Encoder) | 一种同时提取视频空间外观和时间动态特征的预训练神经网络,本文中保持冻结不参与训练。 |
| 成对排序 (Pairwise Ranking) | 训练目标之一,通过比较两个视频样本的相对优劣来学习排序关系,而非预测绝对分数。 |
| 锚点校准 (Anchor-based Calibration) | 利用一组参考锚点样本将模型输出的相对分数映射到稳定的绝对尺度(如 [0, 1])上的校准方法。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅