17岁Kimi架构核心成员离职赴湾区,下一站引猜想
17岁 Kimi 架构核心参与者离职,确认将赴湾区,下一站引发猜想
InfoQ 中文 重要 大模型商业化 🕐 今天 06:58

📖 AI 总结

17岁的陈广宇已离开月之暗面,确认将赴美国旧金山湾区,但明确否认加入Anthropic,下一站尚未公开。他在Kimi期间深度参与大模型系统级研发,是Attention Residuals论文的共同第一作者,也是MoMoE项目作者之一。前者提出用跨层注意力替代固定残差累加,并以Block AttnRes降低额外开销,在480亿参数Kimi Linear架构、1.4万亿token预训练数据上验证,实验显示其可达到需多耗25%算力的基线模型损失水平;后者聚焦MoE训练的内存布局与算子优化。其研究横跨模型架构、优化器与GPU算子,体现了年轻研究者从算法到硬件落地的工程能力。

🔍 深度解读 换个视角,同一件事有不同答案

正在读取芙娘的解读…
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅