面壁智能与OpenBMB开源了MiniCPM-V 4.7系列多模态模型,其中35B-A3B版本是MiniCPM-V系列首个MoE模型,总参数35B但每次推理仅激活3B,仅需约3G内存即可在iPhone、iPad及安卓设备上断网流畅运行,解码速度超过每秒13个token。实测显示,该模型能在1分钟内完成拿破仑行军图温度换算、家庭用电账单分析、停车规则判断等复杂任务,并支持论文转Markdown。在MMBench、MMMU、OmniDocBench等基准测试中表现领先,视觉压缩16倍后精度几乎不降。这是首个能在端侧流畅运行且不牺牲性能的开源MoE模型,意味着大模型本地化部署迈出关键一步。
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅