本文针对智能车辆行人检测模型在驾驶域偏移下的可解释性问题展开审计研究。作者以固定的YOLOv8s行人检测器为对象,在PIE和JAAD两个数据集上,采用基于ROI的D-Deletion、冻结置信度三分位、秩检验、自助法区间及Holm校正等方法,对事后解释的忠实性进行评估。研究发现,基于删除的忠实性与解释时刻的检测强度高度耦合,D-RISE的Spearman相关系数达0.70至0.82,导致简单的置信度分层比较不可靠。在固定f0分箱内控制检测强度后,D-RISE的忠实性在中心f0区间仍表现出域依赖性,PIE的D-Deletion高于JAAD且经Holm校正后显著。非扰动基线EigenCAM忠实性低于D-RISE,但也存在分数耦合,表明该效应并非D-RISE特有,而与删除式评估设置相关。研究据此提出,在域偏移下的安全关键感知任务中应开展置信度控制的XAI审计。
| D-Deletion | 一种基于删除的忠实度评估指标,通过逐步删除输入区域并观察模型输出变化来衡量解释的重要性排序是否忠实。 |
| D-RISE | 一种基于随机输入采样的黑盒事后解释方法,通过生成显著性图来指示对检测结果重要的图像区域。 |
| EigenCAM | 一种非扰动的类激活映射方法,利用特征图的主成分分析生成解释热图,无需梯度或扰动。 |
| 域偏移 | 指训练数据和测试数据分布不一致的情况,在本文中特指不同驾驶数据集(如PIE和JAAD)之间的分布差异。 |
| 置信度分层 | 根据模型预测的置信度将样本分成不同组别进行分析的方法,本文指出其可能因检测强度耦合而导致比较偏差。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅