72B临床大模型单卡跑！CERTA认证量化，部署成本暴降至27%
Do We Need the Largest LLMs for Every Clinical Decision?
📖 AI 总结
该研究针对大型临床语言模型部署成本高、难以本地化运行的问题，提出CERTA——一种决策级统计证书机制，用于判断量化模型能否替代原生BF16参考模型，并将无法认证的决策上报。作者在来自三个模型家族的11个指令微调模型（7-72B，含通用与领域适配模型）上，基于2484名去标识患者的2500个临床验证决策进行患者不交叉的校准与测试。结果显示，在较高统计功效的操作分析中，8比特量化可服务99.8%-100%的留出决策；类条件4比特前沿方案将Qwen2.5-72B和HuatuoGPT-o1-72B的摊销部署成本分别降至BF16参考的25.8%和27.3%，峰值内存约43GB，低于单张48GB加速器标称容量（未直接实测该硬件）。在计入配置选择的严格证书下，成本为26.7%和27.9%。外部疾病命名实体基准上，NF4配置相对人工标注的平均绝对F1变化为0.045，但模型间差异明显。该工作将压缩从固定精度选择转变为风险可控的部署策略。
🔑 关键词速览
| CERTA | 一种决策级统计证书，用于判断量化模型能否替代原始BF16模型，并将无法认证的决策升级处理。 |
| BF16 | Brain Floating Point 16位浮点数格式，常用于深度学习模型的高效存储和计算。 |
| 量化 | 将模型参数从高精度（如BF16）转换为低精度（如8位或4位）以减少存储和计算开销的技术。 |
| NF4 | 4位NormalFloat量化格式，一种针对神经网络权重分布优化的低精度表示方法。 |
| F1 | 衡量分类模型精确率和召回率调和平均的指标，常用于命名实体识别等任务评估。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅