范式智能睿思智联发布开源AI部署平台模域ModelSphere,一站式打通模型管理到运维!
范式智能联合睿思智联推出开源一站式生产级AI部署平台 “模域ModelSphere”
InfoQ 中文 重要 开源AI部署商业化 🕐 10-17 00:38

📖 AI 总结

范式智能联合睿思智联于10月16日发布开源一站式生产级AI部署平台“模域ModelSphere”,面向企业免费开放,采用Apache 2.0协议。该平台将算力管理、模型部署与运行优化整合于统一流程,旨在解决企业在资源利用率低、芯片生态割裂、部署门槛高及生产环境调优难等方面的痛点。其核心能力包括图形化部署、自动弹性扩缩容、PD分离、三级KV缓存、服务断流续写,以及AutoTune智能调度,可使系统极限吞吐效率提升约285%,达到基准的4倍。平台融合EngineX推理引擎,支持华为昇腾、天数智芯、摩尔线程、海光DCU等国产芯片的统一混合调度,并已适配DeepSeek、Qwen、Kimi、MiniMax、GLM等主流模型。模域与vLLM、SGLang等推理引擎互补,承担集群架构级纳管与优化,降低大模型生产化门槛,助力企业释放异构算力潜能。

🔍 深度解读 换个视角,同一件事有不同答案

正在读取芙娘的解读…
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅