Jeff 是一个开源项目,聚焦于“快速决策”这一细分方向,基于 Qwen3.5 和 Gemma 4 微调而来,定位为零样本分类器。用户只需描述场景并列出选项,模型通过一次前向计算即可返回每个选项的校准概率,无需生成文本或额外解析。在 RTX PRO 6000 上,单次决策耗时约 22 毫秒,在 Apple M4 Max 上也有相应支持。其 0.8B 参数版本在 benchmark 上的表现逼近更大规模的 Jev 模型,显示出小模型在特定任务上兼顾速度与精度的潜力。该项目的意义在于验证了专用小模型替代通用大模型执行高频决策任务的可行性,为需要低延迟、高吞吐的场景提供了新的技术路径。
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅