小到离谱的LLM,或将彻底改变所有人用AI的方式!
PrismML hopes its tiny LLM will change how we all use AI
TechCrunch AI 重要 大模型论文方法 🕐 09-18 06:34

📖 AI 总结

PrismML 是一家由加州理工学院研究者创立、专注于大语言模型压缩技术的初创公司,目前仅完成 2225 万美元种子轮融资,却因其技术路线受到关注。其核心判断是:具备推理能力的高性能模型未必需要庞大的体量。公司最新发布的 Bonsai 2 27B 将阿里开源模型 Qwen3.8 27B 压缩至 5.9 GB,内存占用降低约 9 至 10 倍,足以运行在个人电脑甚至高端手机上,同时在综合基准测试中保留了原模型 98% 的性能,较上一代 Bonsai 的 95% 有所提升。此前版本累计下载量已超过 1100 万次。该技术的意义在于,若压缩带来的性能损失可忽略不计,高性能推理模型有望摆脱对云端算力的依赖,直接部署在终端设备上,从而改变 AI 的使用方式。不过,压缩是否终将造成性能损耗,以及能否实现完全对等的基准表现,仍有待观察。

🔍 深度解读 换个视角,同一件事有不同答案

正在读取芙娘的解读…
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅