一个统一框架搞定缺失数据+测量误差+异质性,性能碾压现有方法!
A Deep Latent Variable Framework for Jointly Modeling Missingness, Measurement Error, and Heterogeneity
arXiv ML (stat.ML) 重要 #变分自编码器#缺失数据#概率模型 🕐 09-01 12:00

📖 AI 总结

该研究提出了一种统一的概率框架,用于同时处理现代观察性研究中普遍存在的缺失数据、测量误差和群体异质性三大挑战。作者设计了一个基于深度潜变量表示的层次化树状路由变分自编码器,结合模式感知的潜表征和基于校准的去噪机制。该框架能够适应MCAR、MAR和MNAR等多种缺失数据机制,同时学习子组特异性和全局共享的潜在结构。其核心创新在于“再收敛路由”机制,允许相关子群体间选择性共享参数,兼顾灵活性与统计效率。模拟实验表明,在复杂的异质性缺失和测量误差情境下,该方法显著优于现有的深度生成式插补方法。该框架为现代医疗及其他高维应用场景中从不完整、含噪数据中学习提供了系统性的解决方案。

🔑 关键词速览

Deep Latent Variable Framework深度潜变量框架,一种利用深度神经网络学习数据潜在表示的概率模型框架。
Hierarchical Tree-Routed Variational Autoencoder分层树状路由变分自编码器,一种改进的变分自编码器,通过树状结构路由信息以捕捉复杂数据分布。
Missing Data Mechanisms (MCAR, MAR, MNAR)缺失数据机制,包括完全随机缺失、随机缺失和非随机缺失,描述数据缺失与观测值之间的关系。
Reconvergent Routing Mechanism重汇聚路由机制,一种允许相关子群体间选择性参数共享的路由策略,以平衡灵活性和统计效率。
Pattern-Aware Latent Representations模式感知的潜表示,指编码了数据缺失模式信息的潜在变量表示,有助于处理异质性数据。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅