诺基亚开源AnyJev:无需训练,一个Python库让任何开放大模型秒变校准决策模型!
Nokia Open-Sources AnyJev: A Training-Free Layer That Turns Any Open LLM Into a Calibrated Decision Model
MarkTechPost 重要 开源大模型论文方法 🕐 今天 15:09

📖 AI 总结

诺基亚应用研究团队开源了AnyJev,一个无需训练即可将任意开源大语言模型转化为决策模型的Python库。它面向从固定选项中选出唯一答案的生产场景,支持选择、是非和有序评分三类问题,通过读取模型下一token的概率分布给出可阈值化的决策结果,并以Apache-2.0协议发布,兼容transformers与vLLM后端。研究团队指出,直接读取logits存在两个缺陷:选项重排会改变答案,且概率未经校准,其根源在于标签先验偏差和位置偏差。AnyJev的L0层默认启用两项修正:对K个选项进行循环移位并在对数空间取几何平均以消除位置偏差,同时通过批校准维护预测分布的运行均值以校正先验。该工作为开源模型在决策类任务中的可靠部署提供了轻量且即插即用的方案。

🔍 深度解读 换个视角,同一件事有不同答案

正在读取芙娘的解读…
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅