DAPF模型痴呆检测准确率83%,但词级解释竟不忠实!
Behind the [MASK]: Disentangling Representation and Faithfulness in DAPF-Based Dementia Detection
arXiv CL (cs.CL) 重要 论文方法医疗 🕐 08-27 12:00

📖 AI 总结

该研究探讨了基于提示的领域自适应模型(DAPF)在痴呆症检测中的可解释性问题。DAPF框架将痴呆检测任务转化为与诊断相关的掩码词预测,在低资源、非侵入性语音分析场景中展现出潜力。实验表明,DAPF在整体性能上优于强基线模型,准确率和宏F1分数均达到0.83,且诊断信息最能从其掩码表示中恢复。然而,这种表示层面的优势并未延伸至词级解释的忠实性:DAPF的归因结果主要反映语言任务词汇、话语标记和转录伪影,扰动测试显示其解释效果微弱甚至为负。研究揭示了掩码词接口虽能有效编码诊断信息,但无法生成忠实的词级解释,为理解此类模型的内部机制提供了重要参考,也提示在临床应用中对模型解释需保持审慎。

🔑 关键词速览

DAPF基于提示微调的领域自适应框架,用于将痴呆检测转化为掩码词预测任务。
[MASK] representation掩码词表示,指模型中用于预测被掩盖词位置的向量,在此用于提取诊断信息。
faithfulness解释忠实性,指模型归因是否真实反映其决策依据的程度。
probing探测技术,通过训练分类器评估模型内部表示中编码的信息。
perturbation tests扰动测试,通过修改输入观察输出变化来评估特征重要性。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅