单头预测碾压六头！YNU-HPCC用RoBERTa拿下SemEval情感任务0.44分
YNU-HPCC at SemEval-2025 Task 11: Bridging the Gap in Text-Based Emotion Using Multiple Prediction Headers
📖 AI 总结
本文介绍了YNU-HPCC团队参加SemEval-2025任务11子任务A（基于文本的情感识别）的系统方案。该团队采用RoBERTa模型，并改进了输出头结构，使模型每次仅处理一种情感。系统在涵盖所有语言的官方评测中取得0.44的排名分数。研究将全部数据集通过谷歌翻译统一转为英文以方便后续处理。通过概率与注意力分析，作者得出两项关键发现：一是单一预测头的效果优于同时预测六种情感的六个预测头；二是在统一翻译后的英文数据集上训练，效果优于使用原始数据集。该工作为多语言情感识别中的预测头设计与数据翻译策略提供了实证参考。
🔑 关键词速览
| RoBERTa | 一种稳健优化的BERT预训练语言模型，基于Transformer编码器架构，在多项自然语言处理任务中表现优异。 |
| SemEval-2025 Task 11 | 国际语义评测研讨会2025年的第11项任务，主题为弥合基于文本的情感分析差距，包含多个子任务。 |
| 预测头（Prediction Head） | 神经网络中负责将模型内部表示映射到最终输出预测的顶层结构，本文中用于情感分类。 |
| Transformer编码器 | 一种基于自注意力机制的神经网络架构，能够有效捕捉文本中的长距离依赖关系。 |
| 注意力分析（Attention Analysis） | 通过分析模型注意力权重分布来理解模型关注输入文本哪些部分的方法。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅