📖 AI 总结

Conway Research 旗下设备端助手 Underdog 发布了 Saluki 27B，这是 Qwen3.8-27B 的 2 比特混合精度 GGUF 量化版本，以 Apache 2.0 许可开源。该模型体积仅 7.89 GB，而原始 BF16 版本需要 54 GB，可在原生 llama.cpp 及基于它的应用中运行，并支持完整 GPU 卸载，另可选配 629 MB 或 928 MB 的视觉模块。其核心亮点在于量化过程专门针对工具调用能力进行优化，使这一将聊天模型转变为智能体的关键技能得以保留甚至提升。在 9 项基准测试中，Saluki 平均保留原始模型 96% 的性能；并行工具调用得分 42，超过原版的 35，达到 120% 的保留率。代价是竞赛数学与多步推理能力下降 12 至 18 分，例如 AIME 2025 从 96.7 降至 79.2。总体而言，它以不到 8 GB 的体积在工具调用上超越了 54 GB 的原版模型，为本地智能体部署提供了极具性价比的选择。