AI代理协作审计36篇论文，20个复现问题全解决！
Author-in-the-loop Agentic Reproducibility Auditing for a Machine Learning Conference
📖 AI 总结
本文提出一种“作者参与式”的智能体可复现性审计方法，将作者的复现声明作为AI智能体调查与评估的显式输入。系统通过结构化清单记录复现说明与局限，并在GitHub上采用两阶段流程，将智能体检查与作者澄清、修订及再评估相衔接；智能体分别判断结果是否已复现、作者是否需要澄清或修复，人类审稿人则负责批准请求并裁定问题是否解决。该系统在36篇会议论文、133个实验表格与图表上部署，经人工复核后提出20个问题，后续检查支持全部问题关闭，但部分案例的完整复现仍未得到验证。研究还通过完整清单与空白清单的重复审计对比，考察作者声明如何影响智能体的调查与评估。该工作贡献了利用作者知识引导可复现性审计的协作流程与智能体设计，并为作者、智能体与审稿人协作识别和解决复现问题提供了实证依据。
🔑 关键词速览
| Author-in-the-loop | 指在自动化流程中引入作者参与，使作者声明成为系统输入的一部分。 |
| Agentic Reproducibility Auditing | 利用AI代理对研究结果的可复现性进行自动化审计的方法。 |
| Structured Checklist | 一种结构化表格，用于记录复现步骤和局限性等关键信息。 |
| Two-stage Workflow | 在GitHub上分两个阶段进行的工作流程，连接代理检查与作者反馈。 |
| Reproducibility | 指研究结果能够被独立重复验证的程度。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅