潜意识特质迁移揭秘：仅移植一阶矩，8次更新后12个种子全复现！
Stored in Optimizer State, Valued by Later Training: A Causal Account of Subliminal Trait Transfer
📖 AI 总结
该研究提出了一种关于“潜意识特质迁移”的因果机制解释，即学生模型能从教师生成的数据中习得行为倾向，即使该特质在数据中并未被语义化表达。作者将模型参数与优化器动量视为统一的“训练器状态”，推导出精确的传输-估值恒等式，将源扰动的传播与未来训练赋予的行为价值分离。通过状态手术实验，发现优化器一阶动量是因果载体：仅移植动量不会改变当前参数或输出，但后续无源更新会产生持续增大的差异；而同时移植参数与动量则能恢复完整行为响应。跨模型实验显示，相同源差异在不同训练路径下可产生负、零、正三种效应，且该排序在多个随机种子中稳定复现。研究最终提出两阶段机制：优化器状态负责传输源扰动，后续训练决定其行为价值，为理解模型隐性知识迁移提供了新的因果视角。
🔑 关键词速览
| Subliminal trait transfer | 潜意识特质迁移：学生模型从教师数据中获取未明确表达的行为倾向的现象。 |
| Optimizer state | 优化器状态：包括参数和优化器矩（如一阶矩、二阶矩），用于指导模型更新。 |
| Transport-valuation identity | 传输-估值恒等式：将源扰动的传播与未来训练赋予的价值分离的数学关系。 |
| State surgery | 状态手术：通过移植或修改模型状态（如优化器矩）来研究因果效应的实验方法。 |
| Costate | 代价状态：最优控制理论中用于预测系统未来行为的伴随变量，此处用于预测训练结果。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅