用编解码器运动矢量替代光流，在线动作检测提速11.48倍！
CodecMotion-OAD: Efficient Online Action Detection with Compressed-Domain Motion
📖 AI 总结
该论文针对在线动作检测（OAD）中光流提取计算开销大的瓶颈，提出用解码阶段可直接获取的编解码器运动矢量（MV）替代光流。作者在THUMOS'14上发现，仅用运动输入时光流比MV高11.2 mAP，但融合RGB后差距缩小至3.7 mAP，且差异主要体现在动作类别区分上。据此提出CodecMotion-OAD，采用两阶段训练：先无标签对齐MV特征与预训练光流特征接口，再用真实标签和冻结的RGB+Flow教师软预测训练RGB+MV检测器。这是编解码器MV首次用于帧级OAD。在MiniROAD架构下取得68.3 mAP，接近匹配蒸馏的RGB+Flow的70.9 mAP，同时将解码到预测的处理时间在CPU上缩短11.48倍、GPU上缩短2.04倍，表明压缩域运动可在小幅精度损失下显著提升OAD效率。
🔑 关键词速览
| Online Action Detection (OAD) | 在线动作检测，指在流式视频中实时识别正在进行的动作。 |
| Codec Motion Vectors (MVs) | 编解码器运动矢量，视频压缩过程中产生的运动信息，可替代光流使用。 |
| Optical Flow | 光流，描述视频帧间像素运动的方法，计算成本较高。 |
| mAP (mean Average Precision) | 平均精度均值，常用于评估动作检测等任务的性能指标。 |
| Knowledge Distillation | 知识蒸馏，一种模型压缩技术，通过教师模型指导训练学生模型。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅