开源LLM复现人类囚徒困境合作率,100轮博弈竟与真人数据高度吻合!
Modeling Human Behavior in the Prisoner's Dilemma with Large Language Models
arXiv CL (cs.CL) 大模型论文方法社会模拟 🕐 今天 12:00

📖 AI 总结

该研究考察开源大语言模型能否复现人类在重复囚徒困境中的合作行为。作者选取Falcon 7B、Gemma 7B、Llama 3.1 8B、Phi Mini MoE及Qwen 2.5 7B五个开源模型,采用标准化提示框架,设置固定对手(双方均具记忆)与对手随机轮换(具记忆模型对阵无记忆模型)两种实验条件,各进行100轮博弈并分段统计合作率,再与Montero-Porras等(2022)的人类数据对比。结果显示,所有模型在两种条件下均偏离人类合作水平,普遍表现为过度合作,随机对手条件下尤为明显:人类平均合作率为28.5%,而多个模型超过80%。Qwen-2.5-7B表现出确定性倾向,Phi-mini-MoE波动较大并曾短暂接近人类水平。研究表明开源模型尚不能可靠替代人类被试,但为行为模拟研究提供了跨情境基准。

🔑 关键词速览

Prisoner's Dilemma囚徒困境,一种博弈论模型,用于研究个体理性决策与集体合作结果之间的冲突。
Large Language Models (LLMs)大型语言模型,基于海量文本训练的神经网络模型,能够生成和理解自然语言。
Memory Component记忆组件,指智能体在交互过程中保留历史信息并用于后续决策的能力。
Cooperation Rate合作率,衡量智能体或人类在博弈中选择合作策略的频率。
Shuffled-Partner Setting随机更换伙伴设置,一种实验条件,其中智能体的对手在每轮交互中随机变化。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅