该研究评估多智能体协作能否降低临床任务中的幻觉,指出任务性能提升常被误读为系统更可信,但二者并非同一命题。作者构建事实性与忠实性分类框架,在四个模型、三种临床任务和四种系统配置(单模型基线与三种多智能体拓扑)下,对推理过程而非仅最终答案进行幻觉评分。结果显示,协作普遍提升任务表现,却未必降低幻觉,且没有哪种拓扑结构稳定占优。在36组模型—系统—任务比较中,仅12组差异显著,其中4组幻觉下降、8组上升,且同一模型不会同时出现在两个方向。决定幻觉水平及变化方向的是模型本身,而非拓扑或智能体数量。自我纠错实验进一步印证:除Llama-3.2-3B-Instruct外,各模型在获知自身被标记的错误后均能减少幻觉;协作降幻觉最明显的模型收益最大,而协作放大幻觉最严重的该模型则毫无改善。结论是,协作只是重新分配模型已有能力,并不能提供其原本不具备的能力。
| 多智能体LLM系统 | 由多个大型语言模型智能体协同工作的系统,通过分工或交互完成复杂任务。 |
| 幻觉 | 模型生成看似合理但与事实不符或缺乏依据的内容的现象。 |
| 事实性与忠实性分类法 | 一种评估幻觉的框架,分别衡量内容与客观事实的一致性(事实性)和与给定上下文或推理的一致性(忠实性)。 |
| 拓扑 | 多智能体系统中智能体之间的连接与交互结构,如链式、星型等组织方式。 |
| 自我纠正 | 模型根据反馈或自身标记的错误来修正其输出以减少错误的过程。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅