音视频同步指标大翻车!四大神器互不买账,最强偏移追踪竟达0.84,融合也救不了
What Do Audio-Visual Synchronization Metrics Actually Measure?
arXiv CV (cs.CV) #评测基准#多模态 🕐 08-27 12:00

📖 AI 总结

该研究系统审计了五种主流音视频同步(AV-sync)评估指标,包括AV-Align、ImageBind AV-relevance、JavisScore及Synchformer/DeSync,检验其在受控失真单调性、预处理敏感性和跨指标一致性等方面的表现。结果显示,各指标存在明显功能分化:Synchformer/DeSync在时间偏移检测上表现最强(τ=0.84),而ImageBind/JavisScore更贴近人类对齐代理PEAVS(τ=0.20)及内容破坏类失真。然而,各指标间一致性极低(Krippendorff α=0.066),且简单的线性或k-NN融合方法无法提升与PEAVS的匹配度。研究建议,报告AV-sync结果时应采用“可靠性卡片”形式,提供分族指标及置信区间,而非单一同步分数。该工作为生成式音视频模型的评估提供了方法论参考,强调了指标审计的重要性。

🔑 关键词速览

AV-sync metrics用于评估音视频同步质量的自动量化指标。
AV-Align一种音视频同步度量方法,侧重于对齐程度。
ImageBind AV-relevance基于ImageBind模型的音视频相关性评分。
JavisScore一种音视频同步评分指标,可能基于联合音频视觉嵌入。
Synchformer/DeSync一种用于检测时间偏移的同步评估模型/指标。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅