该研究关注多模型协作中的团队选择问题,指出LLM团队的性能上限不仅取决于单个模型的能力,还受成员间错误共振和预测差异的影响。尽管异构组队在实践中常被证明有效,但现有方法缺乏可计算、可解释且可优化的互补性度量,导致团队构成多依赖启发式经验。为此,作者提出一个以异构性驱动的团队选择框架,通过离线画像刻画单个模型能力,并引入两类互补信号:一类捕捉错误模式去相关以减少共同失败,另一类衡量预测行为分歧以获取策略多样性。团队选择被形式化为质量与互补性的组合优化目标,并采用高效贪心搜索从候选池中挑选小规模团队。多基准实验表明,在受控候选池和团队规模下,该框架持续优于仅考虑质量的基线,为多LLM系统提供了可复用的选择原则。
| 异构性驱动团队选择 | 一种基于模型间差异(如错误模式和预测行为)来选择 LLM 团队成员的框架。 |
| 错误共振 | 团队中多个模型同时犯相同错误的倾向,会降低整体性能。 |
| 互补性度量 | 量化模型之间在错误模式或预测行为上差异程度的指标,用于评估团队多样性。 |
| 质量-互补性组合优化 | 将团队选择建模为同时最大化个体模型质量和成员间互补性的组合优化问题。 |
| 贪心搜索 | 一种逐步选择当前最优候选的启发式算法,用于高效地从候选池中构建团队。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅