音频文本双向交叉注意力，A/H识别F1冲到77.95%！
Multimodal Ambivalence and Hesitancy Recognition with Bidirectional Audio--Text Cross-Attention
📖 AI 总结
该论文提出一种音文双模态框架，用于视频级矛盾与犹豫（A/H）行为识别。研究将完整视频转录文本与语音波形分别经多语言BERT和wav2vec 2.0编码，映射至共享表示空间，并通过两层堆叠的双向交叉注意力模块实现语言标记与声学帧的相互关注，无需显式时间对齐；随后经掩码均值池化聚合，以拼接、逐元素乘积和绝对差值融合特征进行二分类。在BAH数据集的主体无关划分上，模型取得72.19%准确率、75.00%精确率、81.13%召回率、77.95%的A/H F1值及70.16%宏F1值。结果表明，联合建模语言与声学信息对自动识别微妙行为状态具有潜力。
🔑 关键词速览
| 矛盾与犹豫（A/H） | 指个体在决策或表达中表现出的冲突心理和迟疑行为状态。 |
| 双向交叉注意力 | 一种注意力机制，允许两种模态（如音频和文本）相互关注对方的信息。 |
| wav2vec 2.0 | 一种自监督预训练模型，用于从原始音频波形中学习语音表示。 |
| 掩码平均池化 | 一种池化方法，在计算平均值时忽略填充或无效位置，仅对有效元素求平均。 |
| 宏F1 | 一种评估指标，计算每个类别的F1分数后取算术平均，适用于类别不平衡问题。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅