Deepseek以Apache 2.0许可证开源了其内部推理框架DeepInfer,该框架是支撑其V4.1-Flash模型大规模快速响应的服务软件。DeepInfer基于vLLM构建,采用优化的计算内核、多芯片分布式处理和更快的文本生成技术,未来Deepseek模型的代码也将以开源形式发布。同时发布的deepseek-recipe可复现官方API的token处理流程,使自托管部署与官方服务行为一致。Deepseek表示,此举旨在帮助社区降低算力成本、减少能耗,让AI更可负担。文章指出,这一定价压力将传导至OpenAI、Anthropic等西方厂商,在中美AI竞争背景下也可能带有政治考量。
DeepSeek以Apache 2.0协议开源其生产级推理框架DeepInfer,该框架支撑其线上模型服务,可显著优化大模型推理效率、降低算力成本与电力消耗,并体现对国产算力适配与推理栈自主化的投入。
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅