医学生物检索模型转决策，PFR保留先验15次10胜，C头反超却5次受损！
From Retrieval to Typed Decisions: Calibrated System One Models from Biomedical Sentence Encoders
📖 AI 总结
该研究探讨了面向检索任务训练的医学生物句子编码器能否作为类型化决策模型的起点。作者提出SBERT2S1方法，将Sentence-Transformers编码器转换为双编码器、交叉头（C）和先验融合残差（PFR）三种决策模型，并构建了生物医学类型化决策套件BIODECIDE及源自NLM索引的24.3万条训练决策数据集MEDLINE-S1。实验发现，检索训练能提升零样本匹配含内容选项的能力；微调后其效果因决策头而异，在15组对比中PFR有10组显著受益，而C仅1组受益、5组受损。在两种头与五种训练目标的匹配网格中，C在所有目标下均优于PFR，且开源System One模型的RLCD配方比交叉熵低2.5至3.0分，主要源于奖励归一化放大了噪声项3.6至15倍，采用无偏留一估计器可弥补大部分差距。经温度缩放后，各目标校准表现无明显优劣。作者开源了代码、标签与模型。
🔑 关键词速览
| SBERT2S1 | 一种将Sentence-Transformers编码器转换为类型化决策模型的方法，包括双编码器、交叉头和先验融合残差结构。 |
| BIODECIDE | 一个用于生物医学领域类型化决策任务的基准测试套件。 |
| MEDLINE-S1 | 从NLM索引中自动构建的包含24.3万条决策的大规模生物医学训练数据集。 |
| RLCD | 一种用于训练开放System One模型的强化学习配方，其奖励归一化方式导致性能落后于交叉熵。 |
| 温度缩放 | 一种后处理校准方法，通过调整softmax温度使模型输出的概率更可靠。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅