17岁的陈广宇已离开月之暗面,确认将赴美国旧金山湾区,但明确否认加入Anthropic,下一站尚未公开。他在Kimi期间深度参与大模型系统级研发,是Attention Residuals论文的共同第一作者,也是MoMoE项目作者之一。前者提出用跨层注意力替代固定残差累加,并以Block AttnRes降低额外开销,在480亿参数Kimi Linear架构、1.4万亿token预训练数据上验证,实验显示其可达到需多耗25%算力的基线模型损失水平;后者聚焦MoE训练的内存布局与算子优化。其研究横跨模型架构、优化器与GPU算子,体现了年轻研究者从算法到硬件落地的工程能力。
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅