本研究探讨多模态大语言模型(MLLMs)能否被用于生成并检测社交媒体上的多模态虚假新闻。作者提出一个由故事智能体、图像智能体和评论智能体协作组成的多智能体框架,能够针对真实新闻生成貌似合理的虚假图文帖子,并在科学、健康和娱乐三个领域生成了超过9000对配对的多模态新闻帖子。随后,研究对16个开源和闭源MLLMs进行了自动检测基准测试。结果显示,大多数模型在检测准确率上明显低于人类水平,尤其在识别图像真实性方面存在严重缺陷。该研究揭示了MLLMs被滥用于大规模虚假信息传播的现实风险,同时暴露了当前模型在虚假新闻检测能力上的不足,为开发针对社交媒体虚假新闻的稳健防御手段提供了基础。
| Multimodal LLMs (MLLMs) | 多模态大语言模型,能够同时处理和理解文本、图像等多种模态信息的大型语言模型。 |
| Multi-agent framework | 多智能体框架,由多个具有特定角色的智能体(如故事、图像、评论智能体)协作完成复杂任务的系统。 |
| Fake news detection | 假新闻检测,自动识别和判断新闻内容真实性的任务。 |
| Image authenticity | 图像真实性,指图像是否经过篡改或由AI生成,而非真实拍摄。 |
| Disinformation campaigns | 虚假信息宣传,有组织地传播虚假或误导性信息以影响公众认知的行为。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅