Rashomon效应审计新突破：集成建模让漏检风险趋近于零！
Measuring consistency via ensemble margin and local prediction variability: Auditing decision systems in the presence of predictive multiplicity
📖 AI 总结
该研究探讨了机器学习中的Rashomon效应，即多个同等精度的模型对相同输入可能产生不同预测的现象，并聚焦于复杂决策系统中该效应的审计问题。作者提出一种一致性标准，结合集成边际与局部预测变异性，用于决定是否将实例转交人工审查。在稳定性与平滑性假设下，理论证明有限集成的一致性分数随集成规模和样本量增加而收敛于Rashomon集中期望模型的分数。实验基于自然语言理解任务的Transformer模型及表格数据分类的大语言模型微调，结果显示，相比单一模型审计，集成Rashomon集模型能显著降低错误预测未被发现的风险，仅适度增加转交数量；有限规模集成即可近似完整Rashomon集的审计行为，部分数据集风险趋近于零。此外，该度量与既有预测多样性指标的一致性优于现有方法，为捕捉Rashomon集多样性提供了更可靠工具。
🔑 关键词速览
| Rashomon effect | 机器学习中一种现象，指多个准确度相似的模型对相同输入产生不同预测。 |
| predictive multiplicity | 预测多重性，指不同模型对同一实例给出不同预测结果的现象。 |
| ensemble margin | 集成边际，衡量集成模型中多数投票的置信度或差异程度。 |
| local prediction variability | 局部预测变异性，衡量单个模型在特定输入附近预测的不稳定性。 |
| Rashomon set | Rashomon集，指在给定数据集上表现相近的所有可能模型集合。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅