无需训练就让视频按顺序生成，准确率暴涨20个百分点！
Temporal Specification Guidance for Text-to-Video Generation
📖 AI 总结
本文提出一种名为时序规范引导（TSG）的免训练推理框架，用于解决文本到视频生成模型在满足自然语言提示中时序要求方面的不足。研究将视频中概念的顺序、时机与持续等要求形式化为时序逻辑规范，并利用可微的定量语义对视觉概念证据轨迹进行打分，再以该分数的梯度构建规范引导的去噪方向。该框架以视频-文本注意力轨迹为实例，无需外部概念分类器，也无需对视频变换器进行反向传播，其注意力引导的前向过程可与无分类器引导（CFG）叠加。在涵盖11类时序约束的220条提示基准上，该方法在五个模型上将规范满足准确率较CFG提升9.5至20个百分点，且内存开销极小，表明时序规范与可微满足目标可作为控制视频生成的灵活接口。
🔑 关键词速览
| Temporal Specification Guidance (TSG) | 一种无需训练的推理时框架，将形式化时序规约转化为可执行目标以引导视频生成。 |
| Metric Temporal Logic (MTL) | 一种形式化时序逻辑，用于表达带有时间区间约束的时序性质。 |
| Classifier-Free Guidance (CFG) | 一种在扩散模型中通过结合条件和非条件预测来增强生成质量的技术。 |
| Differentiable Quantitative Semantics | 为时序逻辑公式赋予可微分数值语义，使得可以通过梯度优化满足程度。 |
| Video-Text Attention Traces | 视频生成过程中文本对视频帧的注意力权重轨迹，用于衡量视觉概念的出现。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅