临床AI评判新方案：Jev成本仅为LLM的1/294，速度提升57倍！
Decision language models as affordable and rapid alternatives to LLM judges of clinical generative AI
📖 AI 总结
该研究针对临床生成式AI输出评估中LLM评判模型成本高、速度慢的问题，提出并评估了一种返回结构化判断的决策语言模型Jev，将其与前沿及开源LLM评判模型在四个场景下进行对比。结果显示，在118份儿科回答上，Jev与医生序数质量评分的一致性（Gwet's AC2为0.50）达到或超过12个LLM评判模型中的7个，包括Claude Opus 5.5（0.49）和GPT-6（0.38）；在HealthBench二元标准上优于或持平6个模型中的4个；在MedHELM开放任务中，其与三模型评审团的一致性接近或超过评审团内部一致性；在HealthBench Professional上，与参考评判模型GPT-5.4在91%的标准上持平。成本方面，前沿评判模型比Jev贵73至294倍，耗时多7至57倍。研究表明，决策语言模型有望以更低成本和更高效率支撑大规模临床AI评估。
🔑 关键词速览
| Decision language model | 一种专门设计用于返回结构化判断（如分类或评分）的语言模型，而非生成自由文本。 |
| LLM judges | 利用大型语言模型作为自动评判器，对AI输出进行质量评估或打分。 |
| Gwet's AC2 | 一种用于衡量评分者间一致性的统计指标，适用于序数或分类评分，对偶然一致进行校正。 |
| HealthBench | 一个用于评估临床AI模型性能的基准测试集，包含医生评分的二元标准。 |
| MedHELM | 一个包含开放式临床任务的评估基准，用于测试模型在复杂医疗场景下的表现。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅