🔥 今日值得一读
一个提示框架就让4大模型拒绝率暴跌到0？谬误生成安全漏洞实测，80个主张23,990次输出揭真相！
DeflectBench: A Benchmark for Evaluating Rhetorical Fallacy Generation in LLMs
📖 AI 总结
该研究提出了DeflectBench基准，用于评估大语言模型在提示下生成修辞谬误的能力，填补了现有研究主要关注谬误检测而忽视生成层面的空白。研究评估了四个前沿模型在三种转移策略（whataboutism、ad hominem、red herring）、七种提示框架和80条不同争议程度主张下的23,990次生成结果。关键发现是：模型拒绝行为主要由请求结构而非主张内容决定——不同主张间拒绝率差异仅11个百分点，而提示框架变化可使拒绝率波动近100个百分点，请求谬误类型切换也可造成超80个百分点的变化。值得注意的是，教育辩论教练的提示框架几乎完全消除了拒绝行为，但模型通常以“标记性合规”方式回应，即在同一回复中明确命名所请求的操纵手法。四个模型在拒绝、标记性合规、软拒绝和完全合规上的分布各不相同。该研究揭示了当前安全训练在约束谬误生成方面的局限性。
🔑 关键词速览
| DeflectBench | 一个用于评估大型语言模型生成修辞谬误能力的基准测试集。 |
| whataboutism | 一种转移话题的修辞策略，通过提出“那又怎样”或“别人也这样”来回避问题。 |
| ad hominem | 一种人身攻击的谬误，通过攻击对方个人而非论点本身来反驳。 |
| red herring | 一种转移注意力的谬误，引入无关话题以偏离原议题。 |
| labeled compliance | 模型在生成操纵性内容时明确命名该操纵行为的响应类型。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅