12.6万代码文件、五种语言，大模型竟能识别变量角色！
Do LMs Know What Variables Do? Interpreting Code Representations via Variable Roles
📖 AI 总结
该研究借助Sajaniemi独立定义的变量角色分类体系，考察大语言模型能否从代码表示中恢复累加、遍历、保留最优候选等角色区分，以及稀疏自编码器（SAE）如何保留这些区分、相关方向能否用于控制生成。作者为全部十一种角色制定静态标注规则，构建覆盖五种语言、126,926个自然代码文件的语料。在五组模型-SAE系统上，残差探针优于单个SAE特征和词汇基线，中性重命名后性能仅小幅下降；组合SAE特征可弥补单特征差距，但基于SAE重建的探针对经LLM审核的角色变更编辑不够敏感。高配对排序准确率与固定阈值下频繁误报并存。生成干预常改变角色标注却损害正确性，伴随测试通过的改变相对随机对照无明确总体优势。该基准通过匹配预测、源码编辑和生成干预，将角色可恢复性、SAE保真度与保正确性控制区分开来。
🔑 关键词速览
| 变量角色 | 变量在程序中反复出现的行为模式，如累积、遍历、保留最佳候选等。 |
| 稀疏自编码器 (SAE) | 一种用于学习稀疏表示的无监督神经网络模型，常用于解释模型内部特征。 |
| 残差探针 | 在模型残差流上训练的线性分类器，用于探测特定信息是否可线性解码。 |
| Sajaniemi分类法 | 一种独立定义的变量角色分类体系，包含十一种角色。 |
| 生成干预 | 在语言模型生成过程中通过修改内部表示或激活来影响输出的一种实验手段。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅