针对自动化研究中文稿生成与质量控制脱节的问题,该研究指出既有自动评审方法多依赖单一模型反馈或简单聚合,未能建模真实同行评审中的专家分工与集体审议,限制了交叉质询和可靠决策。为此,作者将论文评审形式化为同行评审机制的计算建模问题,提出多智能体审议框架RoundtableReview:把每篇论文结构化为八个语义槽,协调六位具有互补视角、检索来源和专门职责的学术与产业评审者,经独立评估、交叉质询、圆桌审议、动态加权投票和主席综合,生成有据可查、可追溯的反馈。在两个自动化研究骨干模型上的实验显示,该方法在两种骨干上均提升论文质量,并在自动评估与人工评估中优于基线,且所需评论更少。其意义在于以“多讨论、少评论”的协作审议机制替代简单打分聚合,为自动评审提供了更接近真实同行评审的建模范式。
| RoundtableReview | 一种审议式多智能体论文评审框架,通过模拟圆桌讨论提升自动化研究质量。 |
| 自动化研究 | 利用人工智能技术自动完成论文撰写等研究任务的过程。 |
| 多智能体框架 | 由多个具有特定角色和职责的智能体协同工作的系统架构。 |
| 交叉质询 | 评审人之间相互提问和质疑的环节,以增强评审的严谨性。 |
| 动态加权投票 | 根据评审人的专业性和证据质量动态调整权重的投票机制。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅