该论文提出Fig(Finding Interactions in Games),一个面向多智能体系统的自动化行为诱发系统。针对现有社会评估多依赖行为在环境中自然涌现、缺乏系统性干预的问题,Fig接收自然语言描述的目标行为,将其分解为子行为,生成新的社会博弈或选择已有博弈,并对博弈引擎、对手、指令和上下文执行单一或组合干预,再结合内置机制检查与合成评分标准判定模型行为。作者通过人工评审验证了干预、生成博弈及评估机制的有效性。在六种测试行为(合作、剥削、欺骗、隐蔽协调、背叛和破坏)上,Fig生成的有效场景中模型平均45.2%的回合尝试了目标行为;在存在对照博弈的行为—博弈组合中,其干预使尝试率平均提升10.9%。该工作表明多智能体环境可作为可编程测试平台,实现有意图、可控且可复现的行为评估。
| Fig (Finding Interactions in Games) | 一个智能体系统,用于对游戏环境执行定向干预以诱发多智能体行为。 |
| 行为诱发 (behavior elicitation) | 通过系统性地干预环境来主动引发特定行为,而非被动观察行为的自然涌现。 |
| 多智能体系统 (multiagent systems) | 由多个交互的智能体组成的系统,用于研究社会行为与评估。 |
| 合成评分标准判断 (synthetic rubric judgments) | 使用预定义的评分标准对模型行为进行自动化评估的方法。 |
| 可编程测试平台 (programmable test beds) | 可配置和控制的实验环境,用于可重复的行为评估。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅