大模型检测刻板印象翻车：非英语提示更靠谱，假阳性率还高！
Cultural (In)Competence: Investigating Culture-Specific Stereotype Detection Capabilities of LLMs
📖 AI 总结
该研究系统考察了大语言模型在特定文化语境下检测刻板印象的能力。作者围绕提示语言、指令微调语言和微调数据规模三个因素，在美国、荷兰和中国三种文化语境中开展实验。结果显示，模型难以可靠地顾及文化语境，且普遍过度预测刻板印象的存在；非英语提示有助于模型更好地考虑文化背景，从而提升预测效果；额外的指令微调可降低假阳性率；训练数据规模对检测效果的影响呈非单调关系。研究揭示了LLM在文化相关任务中的能力不均衡，为跨文化刻板印象检测的模型设计与评估提供了实证依据。
🔑 关键词速览
| 文化能力 (Cultural Competence) | 指模型理解并适应特定文化语境中价值观、规范与表达方式的能力。 |
| 刻板印象检测 (Stereotype Detection) | 识别文本中是否包含针对特定群体或文化的主观化、过度概括性刻板印象的任务。 |
| 指令微调 (Instruction Tuning) | 用指令-回答数据对预训练语言模型进行微调，使其更好地遵循任务指令。 |
| 假阳性率 (False-Positive Rate) | 在不存在刻板印象的样本中被模型错误判定为存在刻板印象的比例。 |
| 非单调性 (Non-monotonicity) | 指训练数据规模增大时，检测效果并非持续提升或下降，而是呈现先升后降等非单调变化。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅