DeepSeek 开源了其推理框架 DeepInfer,这是继模型开源之后,首次将决定算力成本与能耗的中间层技术对外公开。文章指出,推理框架虽不被普通用户感知,却承担着海量调用时统筹调度算力集群的关键角色,其效率直接影响 AI 服务的算力成本和电费支出。此次开源意味着服务链路中此前缺失的一环被补齐,对降低推理部署成本、提升资源利用率具有实际意义,也为行业提供了可复用的底层调度方案。
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅