🔥 今日值得一读
2196个实例测出大模型社交“会说不会懂”，中文社交意识基准APRiL来了！
APRiL: An Open-ended Benchmark for Chinese Social Awareness in Large Language Models
👨💼 主理人解读 · 为什么值得关注
评估中文大模型社交理解能力时，可用APRiL的开放式题目和实例评分标准做更全面测试。
📖 AI 总结
本文提出APRiL，一个面向中文社会意识评估的开放式基准，旨在弥补现有基准任务格式受限、社会能力覆盖单一、交互场景狭窄等不足。APRiL包含2196个社会意识评估实例，覆盖六大类别，并设置两项互补任务：社会场景分析考察模型对社会线索、心理状态与冲突结构的理解，社会意识回应则评估其能否将理解转化为恰当自然的回应。研究对来自六个模型家族的12个模型进行测试，发现普遍存在“理解—回应”落差，即模型虽能较好分析社会场景，却难以生成相应得体的回应；高质量的场景分析有助于提升回应质量，而低质量分析反而可能拉低回应表现。该基准为推进中文语境下具备社会意识的语言模型提供了系统化资源。
🔑 关键词速览
| APRiL | 本文提出的面向中文社交意识的开放式基准，包含2,196个评估实例和实例特定评分标准。 |
| 社交意识（Social Awareness） | 在社交互动中识别隐含线索、推断心理状态、识别冲突并考虑后果的综合能力。 |
| 开放式基准（Open-ended Benchmark） | 不限定固定答案选项、允许模型自由生成回应的评测基准，更贴近真实社交场景。 |
| 实例特定评分标准（Instance-specific Rubrics） | 针对每个评估实例单独设计的评分细则，用于更精细地评价开放式生成内容的质量。 |
| 理解—回应差距（Understanding-to-Response Gap） | 模型能够正确分析社交情境，却难以将这种理解转化为恰当回应的系统性落差。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅