算法在“随大流”标注者上更准，响应率高低竟无显著影响！
Who Do Perspectivist Models Predict Well? Annotator Agreement, Sparsity, and Performance
📖 AI 总结
该研究关注视角主义自然语言处理标注任务中算法预测不同标注者评分的表现差异，重点考察两类行为特殊的标注者：评分偏离他人者与标注数量较少者。为系统评估，作者整理了目前规模最大的有序标注视角主义NLP数据集集合，并在各数据集上评测多类视角主义算法，进而建模标注者个体特质与算法性能之间的关系。核心发现是：算法对倾向于与他人一致的标注者预测效果更好；而标注者的响应数量与算法性能之间不存在统计上显著的正相关。这一结果提示，标注者之间的分歧程度是影响视角主义模型预测质量的关键因素，而单纯增加某位标注者的标注量未必能改善模型对其的预测，对数据收集与模型评估策略具有参考意义。
🔑 关键词速览
| Perspectivist NLP | 视角主义自然语言处理，一种关注不同标注者主观视角差异而非追求单一“金标准”的NLP建模范式。 |
| Annotator Agreement | 标注者一致性，衡量不同标注者对同一文本给出相同或相似标注的程度。 |
| Ordinal Annotations | 序数标注，标注值具有有序等级关系（如1-5分评分）而非仅类别标签的标注形式。 |
| Annotator Idiosyncrasy | 标注者特质，指个体标注者偏离群体共识的独特标注倾向或行为模式。 |
| Response Rate | 响应率，指标注者实际提供标注的样本数量占其被分配任务总量的比例。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅