📖 AI 总结

ZGCM-1 是一个完全开源的 7B 稠密基础模型，从零训练，主打数据、系统与算法层面的极致效率。其核心思路是：紧凑模型无法被动记忆开放网络，但可通过内部思考与外部工具调用的结合突破参数容量限制。为此，研究团队开发了支持 256K 上下文的端到端高效训练方案，包括交错门控滑动窗口与全注意力架构、稳定的 FP8 Muon 优化器，以及覆盖 16K、64K、256K 的渐进式课程学习和将交互轨迹重构为马尔可夫决策过程的中间训练。团队还建立了由智能体集群自主管理集群运维、数据整理与快速诊断评估的 AI 原生研发流程。评估显示，该模型在通用基准上与同规模 7B 模型相当，在数学推理和智能体搜索任务上可与参数量大数个量级的前沿模型竞争，预训练设计在 16K 场景下带来约 4.2 倍的效率提升。研究还总结了八项可操作的经验发现，并开源了各阶段权重、检查点、训练代码、数据配方及日志。

🔑 关键词速览