Transformer多模态识别准确率99%，可穿戴情感AI新突破！
From Stress to Affect: Multimodal Deep Learning for Physiological Emotion Recognition Across Wearable Sensor Modalities
📖 AI 总结
本研究比较了双向LSTM、时序卷积网络与Transformer三类时序深度学习架构在生理情绪识别中的表现，使用WESAD和EmoWear两个多模态可穿戴数据集，在仅手腕、仅胸部及多模态三种传感配置下，采用留一被试交叉验证进行评估，并考察了软投票集成、传感器消融、采样频率与梯度显著性。结果显示，Transformer在WESAD多模态任务上准确率最高，达99.02%；LSTM在EmoWear上对唤醒度和效价识别最优，分别为91.80%和89.96%，说明架构优劣取决于数据集特性而非普遍适用。多模态传感在两个数据集上均优于单一部位配置，且4 Hz采样即可在显著降低训练成本的同时达到与更高频率相当的性能。该研究为可穿戴情绪识别的架构、模态与采样频率选择提供了实证依据。
🔑 关键词速览
| WESAD | 一个用于可穿戴压力与情感检测的多模态生理数据集，包含手腕和胸部传感器数据。 |
| EmoWear | 一个用于可穿戴情感识别的多模态生理数据集，包含唤醒度和效价标签。 |
| LOSO-CV | 留一受试者交叉验证，一种独立于参与者的评估方法，每次留一个受试者作为测试集。 |
| Transformer | 一种基于自注意力机制的深度学习架构，擅长处理序列数据。 |
| 多模态传感 | 同时使用多种传感器（如手腕和胸部）采集数据，以提升识别性能。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅