零模型竟通过96%混沌系统测试，自动化科学发现存在接受漏洞！
Null Controls Are Necessary but Not Sufficient: Evaluating Acceptance Guards for Scientific Discovery and Interpretability
📖 AI 总结
该研究探讨自动化科学发现系统中"接受检验"的有效性问题，指出仅靠零假设对照不足以确保证据的科学意义。作者设计了四种可执行操作（识别冗余、粗粒化动力学、结构迁移、从守恒失衡推断缺失量），并用零接受率、正接受率和后果一致性三项指标评估。关键发现是：一个将所有状态映射为零的退化模型在129个公开混沌系统中通过了96%的闭合性检验，却毫无动力学信息，而独立的可观测保持检验能将其全部拒绝；在受控基准上，组合标准接受了24/24个真实约简并拒绝了72/72个零模型。在语言模型和ESM-2蛋白质模型中，线性CKA在对应关系被随机旋转时保持不变，而局部干预能区分真实映射与零模型；在稀疏自编码器中，富集检验拒绝了全部16个零模型，但独立消融仅支持45%的可评估富集特征，匹配对照仅0.5%。研究揭示了两类接受缺口：描述性检验可能接受科学上空洞的候选，被接受的候选也可能缺乏独立验证的后果。可靠自动化发现需同时评估检验接受了什么及其确立的科学后果。
🔑 关键词速览
| Null Acceptance Rate (NAR) | 零接受率，衡量测试错误接受无信息零模型的概率。 |
| Positive Acceptance Rate (PAR) | 正接受率，衡量测试正确接受真实候选者的概率。 |
| Consequence Agreement Rate (CAR) | 后果一致率，评估被接受候选者与独立验证的科学后果之间的一致性。 |
| Linear CKA | 线性中心核对齐，一种用于比较神经网络表示相似性的度量方法。 |
| Sparse Autoencoder | 稀疏自编码器，一种通过稀疏性约束学习可解释特征表示的神经网络模型。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅