六评审人圆桌激辩,RoundtableReview用更少评论让论文质量更高!
Discuss More, Comment Less: Boosting Automated Research via Multi-Perspective Collaborative Review
arXiv CL (cs.CL) 重要 Agent大模型论文方法 🕐 今天 12:00

📖 AI 总结

针对自动化研究中文稿生成与质量控制脱节的问题,该研究指出既有自动评审方法多依赖单一模型反馈或简单聚合,未能建模真实同行评审中的专家分工与集体审议,限制了交叉质询和可靠决策。为此,作者将论文评审形式化为同行评审机制的计算建模问题,提出多智能体审议框架RoundtableReview:把每篇论文结构化为八个语义槽,协调六位具有互补视角、检索来源和专门职责的学术与产业评审者,经独立评估、交叉质询、圆桌审议、动态加权投票和主席综合,生成有据可查、可追溯的反馈。在两个自动化研究骨干模型上的实验显示,该方法在两种骨干上均提升论文质量,并在自动评估与人工评估中优于基线,且所需评论更少。其意义在于以“多讨论、少评论”的协作审议机制替代简单打分聚合,为自动评审提供了更接近真实同行评审的建模范式。

🔑 关键词速览

RoundtableReview一种审议式多智能体论文评审框架,通过模拟圆桌讨论提升自动化研究质量。
自动化研究利用人工智能技术自动完成论文撰写等研究任务的过程。
多智能体框架由多个具有特定角色和职责的智能体协同工作的系统架构。
交叉质询评审人之间相互提问和质疑的环节,以增强评审的严谨性。
动态加权投票根据评审人的专业性和证据质量动态调整权重的投票机制。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅