XAI忠实性指标被曝5大缺陷,十年信任目标为何失败?
Faithfulness Without Anchors: A Position Paper on the Structural Misalignments of Explainable AI Faithfulness Metrics for Feature Importance
arXiv AI (cs.AI) 重要 可解释性安全对齐论文方法 🕐 今天 12:00

📖 AI 总结

这篇立场论文探讨了可解释人工智能(XAI)中特征重要性解释的忠实度度量问题。作者指出,尽管XAI工具常被宣传为能增强对机器学习模型的信任,但过去十年的证据表明这一目标总体未能实现,反而可能助长对错误预测的过度依赖。XAI的实际价值更接近于一种调试工具。其核心局限在于,XAI方法往往过度简化模型内部机制,导致解释与模型本身之间出现错位,即所谓的不忠实。忠实度可理解为解释与模型之间的近似程度,若能严格计算,便可量化解释可信度的一个维度。然而现有度量存在显著缺陷,使这种量化要么不可行,要么计算代价高昂。本文系统梳理了当前忠实度度量的五大不足,并提出四条可能的研究方向以提升其可靠性。

🔑 关键词速览

可解释人工智能 (XAI)旨在使机器学习模型的决策和内部机制对人类可理解的研究领域与工具集。
忠实性 (Faithfulness)衡量解释与模型实际行为之间近似程度的指标,反映解释在多大程度上真实反映了模型的计算过程。
特征重要性 (Feature Importance)一种解释形式,通过为输入特征分配分数来表示其对模型预测的相对贡献大小。
不忠实 (Unfaithfulness)解释与模型内部运作不一致的现象,即解释未能准确反映模型的实际决策依据。
算法厌恶 (Algorithmic Aversion)用户因对算法的不信任或负面体验而倾向于拒绝或避免使用算法建议的行为现象。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅