多智能体数学推理新基准MAMath-Bench：1003题11类多模态，协作未必提准确率反增冗余！
MAMath-Bench: Process-Aware and Robust Evaluation of Multimodal Multi-Agent Mathematical Reasoning
📖 AI 总结
该研究针对现有多智能体数学推理评测偏重纯文本最终答案、忽视多模态能力与推理过程可靠性的问题，提出了MAMath-Bench基准。该基准包含1003道题目，覆盖11个数学类别、多档难度以及文本、图像、音频等多种模态，并通过细粒度里程碑标注，从解题正确性、推理过程可靠性和对对抗性推理链扰动的鲁棒性三个维度进行评估。评测得出三点关键发现：多智能体协作相比强单模型并不能稳定提升最终答案准确率；协作可显著提高中间推理步骤的覆盖度，但可能带来推理冗余增加；现有系统对对抗性推理错误仍然脆弱，尤其是涉及细微结构扰动的情形。该工作为多模态多智能体数学推理提供了更全面、过程感知的评测框架。
🔑 关键词速览
| MAMath-Bench | 一个过程感知的多模态数学推理基准，用于评估多智能体系统的推理能力。 |
| 多智能体系统（MAS） | 由多个LLM智能体组成的系统，通过协作与验证共同解决问题。 |
| 过程感知评估 | 不仅关注最终答案，还评估中间推理步骤的连贯性和可靠性的评估方法。 |
| 里程碑标注 | 对推理过程中的关键步骤进行细粒度标注，用于评估推理过程的覆盖率和正确性。 |
| 对抗性推理链扰动 | 对推理链引入细微的结构性错误或干扰，以测试系统对推理错误的鲁棒性。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅