尼泊尔语情感基准双人盲标筛选3189句，大模型零样本宏F1达0.896，反超最佳编码器！
NEPSEE: A Double-Annotated Benchmark for Nepali Sentiment Analysis
📖 AI 总结
该研究构建了NEPSEE，一个针对尼泊尔语情感分析的双标注基准数据集。研究者让两位标注者独立对尼泊尔公众人物推文中的5,614个句子进行五点量表标注，仅保留两人极性判断一致的3,189句用于三分类任务。结果显示，NepBERTa和IndicBERTv2的宏F1分别为0.877和0.867，三个商用大语言模型零样本表现为0.882至0.896，差异不显著。在五点量表任务中，766句存在相邻标签分歧，接受双标签训练后，Claude Opus 5.5比最佳编码器高出0.10至0.12宏F1。此外，分词器审计发现三个尼泊尔语BERT模型的默认分词器会删除非间距天城文元音符号和连音符，恢复这些符号后NepBERTa宏F1提升0.084，但在剥离文本上预训练的模型反而下降0.095。该工作揭示了标注一致性与分词处理对尼泊尔语情感分析的重要影响。
🔑 关键词速览
| NepBERTa | 一种针对尼泊尔语预训练的BERT模型，用于尼泊尔语自然语言处理任务。 |
| IndicBERTv2 | 支持多种印度语言（包括尼泊尔语）的预训练语言模型，是IndicBERT的改进版本。 |
| macro-F1 | 一种评估指标，计算每个类别的F1分数后取未加权平均值，适用于多分类任务。 |
| zero-shot | 零样本学习，指模型在没有针对特定任务进行微调的情况下直接进行预测。 |
| tokenizer | 分词器，将文本分割成词元（token）的工具，是自然语言处理模型处理文本的第一步。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅