智能体数据科学220任务全翻车，数据泄漏竟与高分正相关！
The Silent Failures in Agentic Data Science
📖 AI 总结
这篇论文指出，当前对数据科学智能体（agentic DS）的评估主要关注下游预测性能和代码正确性，却忽视了数据科学的方法论原则与领域知识，导致数据泄漏、验证不当等“沉默失败”被高准确率所掩盖。作者从三个角度展开研究：对220个数据科学任务中常见智能体框架和模型的失败模式进行大规模分析；构建可复用、可扩展的测试套件，以受控方式检测六类特定失败；并对Kaggle竞赛中智能体流程与专家方案进行定性比较。结果显示，无论智能体框架或模型能力如何复杂，大多数解决方案都至少包含一种失败模式，且数据泄漏的发生与预测性能呈正相关，印证了仅以准确率评估智能体的不足。定性分析还表明，与竞赛获胜的数据科学家相比，智能体普遍缺乏问题解决的创造力和领域知识。作者认为，有原则的失败模式分析应成为智能体数据科学评估的核心组成部分，这对构建可信的智能体流程至关重要。
🔑 关键词速览
| Agentic Data Science (agentic DS) | 指利用自主智能体（通常基于大语言模型）自动化执行数据科学任务（如数据预处理、建模、评估）的系统或范式。 |
| Data Leakage | 数据泄漏，指在模型训练过程中意外使用了未来信息或测试集信息，导致评估结果过于乐观，是常见的方法论错误。 |
| Failure Modes | 失败模式，指系统在运行中出现的典型错误类型或失效方式，如数据泄漏、不恰当验证等。 |
| Methodological Data Science Knowledge | 方法论数据科学知识，指关于数据科学流程、实验设计、评估方法等原则性知识，区别于单纯的编程或建模技能。 |
| Kaggle Competitions | Kaggle竞赛，指数据科学和机器学习领域的在线竞赛平台，参赛者需针对给定任务构建最佳预测模型。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅