范式智能联合睿思智联于10月16日发布开源一站式生产级AI部署平台“模域ModelSphere”,面向企业免费开放,采用Apache 2.0协议。该平台将算力管理、模型部署与运行优化整合于统一流程,旨在解决企业在资源利用率低、芯片生态割裂、部署门槛高及生产环境调优难等方面的痛点。其核心能力包括图形化部署、自动弹性扩缩容、PD分离、三级KV缓存、服务断流续写,以及AutoTune智能调度,可使系统极限吞吐效率提升约285%,达到基准的4倍。平台融合EngineX推理引擎,支持华为昇腾、天数智芯、摩尔线程、海光DCU等国产芯片的统一混合调度,并已适配DeepSeek、Qwen、Kimi、MiniMax、GLM等主流模型。模域与vLLM、SGLang等推理引擎互补,承担集群架构级纳管与优化,降低大模型生产化门槛,助力企业释放异构算力潜能。
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅