合成真实解释框架评估XAI,九种方法暴露显著局限!
A Synthetic Ground-Truth Framework for the Evaluation of Explainable AI Methods
arXiv AI (cs.AI) 可解释性评测基准论文方法 🕐 今天 12:00

📖 AI 总结

该论文针对可解释人工智能(XAI)方法评估中缺乏可靠基准和真实解释标签的问题,提出了一种基于合成真实标签的评估框架。现有评估方法主要通过衡量解释与黑盒模型预测之间的一致性来打分,但这种方式只能反映解释对模型输出的复现程度,无法保证解释真实反映模型的决策过程,导致不同解释可能获得相近分数却给出相互矛盾或误导性的解读。为此,作者利用受控干预生成合成数据集,使输入特征的重要性可在设计阶段确定,从而构建与分析模型行为直接对齐的真实解释。该框架在二值图像、表格数据和时间序列三个数据域上实例化,并对九种广泛使用的XAI方法进行了评估。实验结果表明,当前主流方法存在显著局限,凸显了基于合成干预的基准测试对于可靠评估解释质量的重要性。

🔑 关键词速览

可解释人工智能 (XAI)旨在使机器学习模型的决策过程对人类可理解的研究领域。
真实解释 (Ground Truth Explanations)已知正确的、反映模型真实决策依据的解释,用于评估解释方法的准确性。
保真度 (Fidelity)解释与黑盒模型预测结果之间的一致程度,是现有评估中常用的指标。
受控干预 (Controlled Interventions)通过人为操纵输入特征来观察模型输出变化,从而确定特征重要性的实验方法。
合成数据集 (Synthetic Datasets)人工生成的数据集,其输入特征的重要性在设计时已知,用于提供评估基准。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅