标注前加个小故事，AI标注员身份共鸣飙升，一致性反而降了！
Activating the Annotator: Operationalising Lived Experience in Data Annotation
📖 AI 总结
这篇论文探讨了自然语言处理中视角主义标注的一个核心问题：标注者的立场和生活经验会影响主观任务的标签，但现有方法通常只在招募时以人口统计表格的形式将其记录为静态属性，默认这些经验在标注时自然处于激活状态。作者将这一假设视为设计问题，提出AXLE方法，在正式标注前通过情境小故事引导一段简短的、按维度组织的对话，将其综合为第一人称微型叙事并反馈给标注者。研究针对涉及移民、宗教和性别议题的模糊仇恨言论，招募104名标注者、30个条目、共1040条标注，采用2×2组间实验。结果显示，经验唤起与更高的身份共鸣和对伤害的敏感度相关，同时提高了标签熵并降低了标注者间一致性，说明该环节揭示的是多元性而非制造共识，这与以收敛为成功标准的标注者培训形成区别。
🔑 关键词速览
| Perspectivist NLP | 视角主义自然语言处理，一种承认标注者主观立场影响标签的NLP研究范式。 |
| Positionality | 立场性，指标注者的社会身份和经历如何影响其视角和标注决策。 |
| AXLE | 本文提出的预标注阶段，通过场景小故事和轴引导对话合成第一人称叙事来启动生活经验。 |
| Label entropy | 标签熵，衡量标注者之间标签分布的不确定性或多样性的指标。 |
| Inter-annotator agreement | 标注者间一致性，衡量多个标注者对同一项目标注结果一致程度的指标。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅