📖 AI 总结

苹果机器学习研究团队展示了在Mac Studio上本地及分布式运行大型语言模型的新方案。借助最新版MLX框架与RDMA over Thunderbolt驱动，用户可在单台配备最高512GB统一内存的Mac Studio上运行模型，并扩展至多机集群。关键发现是：在四台M5 Ultra Mac Studio组成的集群上，近万亿参数的Muse Spark Open模型生成速度超过每秒36个token，远高于人类平均阅读速度。研究对比了M5 Ultra与M3 Ultra两代硬件，并评估了Muse Spark Open、Mistral Medium 3.5和Qwen 3.8三款前沿模型，涵盖混合专家与稠密架构及多种精度格式。该成果表明，开发者无需依赖云端即可在桌面环境私密地运行前沿级大模型，显著降低了大规模推理的硬件门槛。