📖 AI 总结

DeepSeek 开源了其生产环境使用的推理框架 DeepInfer，该框架正是驱动 DeepSeek-V4.1-Flash 的底层引擎，采用 Apache 2.0 许可证发布，同时以 MIT 许可证开放了 token 编解码层 deepseek-recipe。DeepInfer 支持 100 万 token 上下文窗口，可运行于 NVIDIA Blackwell GPU 和华为昇腾 950 NPU，基准测试使用 4 块 GPU 做预填充、64 块做解码。性能方面，单集群每日可服务 155 万亿 token，在 EP64、131072 上下文配置下每 GPU 输出速度超过每秒 25000 token。该框架融合了 FlashMLA、DeepGEMM、DeepEP 等自研内核，采用注意力数据并行与 MoE 专家并行的混合策略。不过此次开源仅覆盖离线推理，KV 缓存系统、P/D 分离和负载均衡等组件并未包含。对开发者而言，这是难得一窥前沿实验室真实服务栈的机会。