全晶体管Transformer实现上下文学习，仅靠近似梯度训练成功！
An all-transistor physical-learning transformer can be trained to perform in-context learning
📖 AI 总结
该研究针对物理学习系统难以实现Transformer式关联任务的问题，提出了一种全晶体管物理学习Transformer。传统基于平衡传播或耦合学习的系统多属于多层感知机类，因非线性运算（如点积注意力所需的乘法）会破坏反向信息流，难以完成关联任务。作者通过引入额外电路元件构建双元电路，显式恢复了双向信息流，并利用亚阈值MOSFET的指数电流定律实现注意力机制。仿真表明，该电路可被训练执行简单的上下文学习任务，尽管其反向元件仅传递近似梯度。训练成功的关键在于使用交叉熵损失而非均方误差，作者借助一种新型浮动电路元件（基于与softmax相同的MOSFET子电路）生成相应扰动，并采用Lion优化器训练电阻，每个参数仅需一个电容存储梯度估计的局部记忆。该工作为在物理硬件上实现Transformer类学习提供了可行路径。
🔑 关键词速览
| 平衡传播 (Equilibrium Propagation) | 一种基于物理系统能量最小化的训练方法，通过输入和输出的双向信息流来更新参数。 |
| 耦合学习 (Coupled Learning) | 一种局部学习规则，通过耦合两个相同电路并比较其状态来调整参数，无需全局反向传播。 |
| 上下文学习 (In-Context Learning) | 模型根据提示中的少量示例直接推理新任务的能力，无需微调参数。 |
| 亚阈值MOSFET (Sub-threshold MOSFET) | 工作在亚阈值区的MOSFET，其电流与栅极电压呈指数关系，常用于低功耗模拟电路。 |
| Lion优化器 (Lion Optimiser) | 一种基于符号的优化算法，仅使用梯度符号更新参数，内存占用低，适合硬件实现。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅