LassoNet抗异常值升级！Huber等稳健损失让特征选择更准
Robust LassoNet: Enhancing Feature Selection in Neural Networks via Robust Loss Functions
📖 AI 总结
本文提出Robust LassoNet，旨在解决神经网络特征选择在噪声或受污染数据下表现不佳的问题。原始LassoNet通过层级稀疏约束实现预测与变量选择同步进行，但其依赖的均方误差损失对异常值高度敏感。为此，作者引入Huber、Cauchy、Tukey双权及非负Garrote等稳健损失函数，在保留原有优化框架的基础上提升模型稳定性。在合成与真实数据集上的实验表明，当数据存在异常值或重尾噪声时，Robust LassoNet在预测性能和特征选择准确性上均有显著提升，而在干净数据下性能与原始方法相当。该研究凸显了稳健性在神经网络特征选择中的重要性，并为实际应用中损失函数的选择提供了指导。
🔑 关键词速览
| LassoNet | 一种将神经网络与分层稀疏约束结合的模型，可同时进行预测和特征选择。 |
| Robust LassoNet | LassoNet 的扩展版本，通过引入稳健损失函数来降低异常值对特征选择的影响。 |
| Huber loss | 一种结合了均方误差和绝对误差的稳健损失函数，对异常值具有较好的鲁棒性。 |
| Tukey's bisquare | 一种有界稳健损失函数，能有效抑制极端异常值的影响。 |
| Nonnegative Garrote | 一种用于变量选择和系数收缩的惩罚方法，可视为一种稳健损失函数。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅