🔥 今日值得一读 深度不平衡回归评估藏三大盲点,尾部区域对随机种子极度敏感!
Exposing Blind Spots in Deep Imbalanced Regression Evaluation
arXiv LG (cs.LG) 🔥 重点 #不平衡回归#评测基准#回归任务 🕐 今天 12:00
👨‍💼 主理人解读 · 为什么值得关注
做不平衡回归的开发者可据此检查评测是否只看图像基准、忽略尾部稳定性,避免模型上线后尾部失效。

📖 AI 总结

该研究聚焦深度不平衡回归(DIR)评估中长期被忽视的三个盲点:基准过度依赖图像数据、传统的多/中/少样本评估协议仅具诊断性而无法支撑决策、以及尾部区域在不同随机种子下的稳定性缺乏系统检验。作者引入多模态虚拟传感基准MuViS,涵盖六个物理域、九个时间序列回归任务,并采用平衡MAE及新提出的平衡平均绝对缩放误差(bMASE)实现跨方法与数据集的尺度归一化比较。通过对六种代表性DIR方法在多个随机种子下的重复评估,研究发现:标准虚拟传感模型在尾部区域存在被全局MAE掩盖的显著性能退化;现有DIR方法虽能改善平衡性能,但在多模态时间序列数据上迁移效果不均;尾部区域对种子级波动高度敏感,构成当前评估实践下隐藏的失效模式。该工作为DIR研究提供了可复现的评估基础,推动回归系统在稀有目标区间达到与常见区间同等可靠的性能。

🔑 关键词速览

Deep Imbalanced Regression (DIR)深度不平衡回归,处理目标分布高度不均匀的回归任务,旨在提升稀有目标区域的性能。
MuViS多模态虚拟传感基准,包含六个物理领域的九个时间序列回归任务,用于评估DIR方法。
bMAE平衡平均绝对误差,一种考虑目标分布平衡性的评估指标,用于衡量模型在不同目标区域的性能。
bMASE平衡平均绝对缩放误差,本文提出的尺度归一化指标,用于跨方法和数据集的决策完备比较。
tail-region instability尾部区域不稳定性,指模型在稀有目标区域性能对随机种子变化高度敏感的现象。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅