教科书喂不出临床高手！临床数据提推理，教学数据强记忆，最佳配比因任务而异
Didactic knowledge or Clinical Cases? How Data Types Shape Medical Large Language Models
📖 AI 总结
本研究通过严格控制token数量的对照实验，系统考察了医学大语言模型训练中教学型数据（如教科书）与临床型数据（如患者记录）的不同配比对模型能力的影响。研究发现两类数据存在非对称迁移效应：临床数据能提升临床导向任务的表现，且在知识密集型任务上仍具竞争力；而教学型数据主要改善知识密集型任务。错误分析揭示出"知易行难"的差距，即知识回忆能力的提升并不能可靠地转化为临床推理能力。研究还发现，少量临床数据即可在电子健康记录相关任务上带来大部分收益，而最优混合比例取决于下游任务对知识与临床推理的需求程度。这些发现表明，医学大模型的数据策展应以应用为导向，对推理密集型场景宜采用更高比例的临床数据。
🔑 关键词速览
| 医学大语言模型 | 专门针对医学领域训练或微调的大语言模型，用于处理医学知识和临床任务。 |
| 教学数据 | 指教科书等系统性知识材料，侧重于理论知识的传授。 |
| 临床数据 | 指患者记录等实际医疗数据，反映真实临床实践中的信息。 |
| 令牌匹配实验 | 在实验中控制训练数据的总令牌数相同，以公平比较不同数据组成的影响。 |
| 知行差距 | 指模型在知识回忆上表现良好，但在实际临床推理和应用中表现不佳的现象。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅