📖 AI 总结

IFM（基础模型研究所）发布了K2 Horizon系列，包含六个Apache 2.0许可的开源模型，参数规模从0.9B到375B不等。这是该机构宣称的AI历史上最大规模的全开源模型发布，不仅提供模型权重，还公开了预训练语料、中间检查点、训练代码和详细日志。所有模型共享核心架构和训练方法，便于用户从较小模型无缝扩展到更大规模。每个模型基于约20万亿token预训练，其中约17%为含显式推理的问题解决轨迹，约10万亿为合成数据。值得关注的是，IFM提出了MoVA（混合值注意力）技术，将专家路由扩展到多头注意力机制，在36B-A4B模型上实现了约4B活跃参数的高效推理。模型支持FP8和GGUF格式，兼容vLLM、SGLang等主流推理框架，并适配NVIDIA、AMD和Cerebras硬件。