该研究系统审计了五种主流音视频同步(AV-sync)评估指标,包括AV-Align、ImageBind AV-relevance、JavisScore及Synchformer/DeSync,检验其在受控失真单调性、预处理敏感性和跨指标一致性等方面的表现。结果显示,各指标存在明显功能分化:Synchformer/DeSync在时间偏移检测上表现最强(τ=0.84),而ImageBind/JavisScore更贴近人类对齐代理PEAVS(τ=0.20)及内容破坏类失真。然而,各指标间一致性极低(Krippendorff α=0.066),且简单的线性或k-NN融合方法无法提升与PEAVS的匹配度。研究建议,报告AV-sync结果时应采用“可靠性卡片”形式,提供分族指标及置信区间,而非单一同步分数。该工作为生成式音视频模型的评估提供了方法论参考,强调了指标审计的重要性。
| AV-sync metrics | 用于评估音视频同步质量的自动量化指标。 |
| AV-Align | 一种音视频同步度量方法,侧重于对齐程度。 |
| ImageBind AV-relevance | 基于ImageBind模型的音视频相关性评分。 |
| JavisScore | 一种音视频同步评分指标,可能基于联合音频视觉嵌入。 |
| Synchformer/DeSync | 一种用于检测时间偏移的同步评估模型/指标。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅