R²分解神器qshap来了！xgboost、lightgbm、catboost全支持，性能提升快到飞起！
qshap: Fast Shapley Decomposition of $R^2$ for Gradient-Boosted Trees
📖 AI 总结
本文介绍了一种名为qshap的新工具，用于对梯度提升决策树（GBDT）模型进行基于Shapley值的R²分解，以量化各特征对模型整体性能的贡献。与现有方法主要聚焦于单个预测的特征归因不同，qshap通过分解每个观测的二次损失，实现了对模型预测性能（R²）的直接分解，从而提供特征和观测两个层面的重要性分析。该工具支持xgboost、lightgbm和catboost等主流GBDT实现，采用统一的树表示和高效的C++后端，并针对对称结构的oblivious树设计了专门加速后端。qshap同时提供R和Python版本，其模块化设计便于扩展至其他基于二叉决策树的GBDT实现，为全局特征重要性评估提供了更直接且计算高效的解决方案。
🔑 关键词速览
| Shapley decomposition | 一种基于合作博弈论的方法，将总贡献公平地分配给各个特征。 |
| Gradient-boosted decision trees (GBDT) | 一种集成学习方法，通过迭代添加决策树来最小化损失函数。 |
| R² | 决定系数，衡量模型解释的方差比例，此处用于表示模型性能。 |
| Oblivious trees | 一种决策树结构，同一层使用相同的分裂特征和阈值，具有对称性。 |
| Feature attribution | 特征归因，指将模型预测结果归因于各个特征贡献的过程。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅