📖 AI 总结

PrismML发布了Ternary Bonsai 2 27B，这是Qwen3.8 27B的三值权重压缩版本，模型体积仅5.93 GB，相比FP16格式的53.80 GB大幅缩减。据官方数据，该模型在20项基准测试中平均保留了原模型98.2%的性能，较两个月前首版Bonsai 27B约95%的保留率有所提升。模型保持原有架构不变，拥有27.36B参数，支持文本与图像输入及262K token上下文，采用Apache 2.0许可，可在16 GB笔记本或单张24 GB GPU上运行。其技术核心在于每个权重仅取-1、0、+1三个值，每128个权重共享一个FP16缩放因子，并通过块状Hadamard旋转优化量化效果。这一成果意味着高性能大模型正加速向消费级硬件部署迈进。