能力强的AI为何总在特定输入上翻车？新研究揭示参差不齐能力来源，槽1探针可达97%而其他槽仅5%！
Where Does Jagged Competence Come From?
📖 AI 总结
这篇论文探讨了能力较强的系统为何会表现出“参差不齐的能力”，即平均误差很低却在特定输入上失败。作者构建了一个由两层组成的任务：下层A从记录中计算五个槽位求和，上层B利用槽位1的求和及从先前状态继承的模式预测下一类别，因此B无法仅由当前A计算得出，是A的严格扩展。研究训练小型循环网络学习B，并与精确真值对比，测量网络对A的习得情况。核心发现是：学习B使网络获得了一个参差不齐版本的A——在B需要的地方（槽位1）线性探针可读性达97%至98%，在不需要的地方（其他槽位）仅5%至10%；类别误读集中在槽位1的临界点附近；显式训练A也只能得到近似正确的结果。匹配实验表明，即使A本身良好也不够：将学习到的A接入B会使误读增加1.3至17倍，同一个精确A以独热输入时误读更少，一次B更新就会使精确A变得不精确，除非阻断B的梯度，且精确A仍会留下部分B的失败。研究认为，下层理论在获取、访问和保持上的不均衡，部分解释了学习基于该理论的网络所表现出的参差能力，但仍有部分失败无法解释，这一结论能否推广到更大系统尚待检验。
🔑 关键词速览
| Jagged Competence | 指系统在整体上表现良好（平均误差低），但在某些特定输入上却出现失败的不均匀能力现象。 |
| Layer A | 任务中的下层，负责从记录中计算五个逐槽和，是上层 B 的基础。 |
| Layer B | 任务中的上层，利用槽 1 的和及继承模式预测下一板类别，是 A 的严格扩展。 |
| Probe Readability | 通过线性探针等工具测量网络内部表示中特定信息可被读取的容易程度。 |
| KL Divergence | Kullback-Leibler 散度，衡量两个概率分布差异的指标，此处用于评估网络输出与真实分布的接近程度。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅