样本严重不平衡还能做分布检验？新框架把多数类样本变成证据，性能不降反升！
From Imbalance to Evidence: Deep Nonparametric Testing for Complex Data under Severe Sample Imbalance
📖 AI 总结
本文研究严重样本不平衡条件下的分布比较问题，尤其关注图等复杂非欧几里得数据。作者指出，分类器双样本检验（C2ST）虽具灵活性，但现有方法主要针对平衡或规模相当的样本设计，严重不平衡会显著降低检验性能。与将不平衡仅视为分类器训练干扰的传统思路不同，作者将其转化为重复检验证据的来源，提出增强型不平衡感知深度分类器双样本检验框架EIAD-C2ST。该框架与分类器无关，可适配多种数据模态，并针对计算昂贵的深度分类器提出可扩展的表示摊销实现策略。理论上，作者建立了渐近检验水平的严格保证，并刻画了允许不平衡比发散时的功效相合性条件。模拟实验和区块链取证应用验证了方法的实证优势，表明多数样本的盈余若被恰当利用，可转化为分布比较的有效统计证据，而非障碍。
🔑 关键词速览
| 分类器双样本检验 (C2ST) | 一种通过训练分类器区分两个样本，并利用其分类准确率来检验两个分布是否相同的统计方法。 |
| 样本不平衡 | 在数据集中，不同类别的样本数量存在显著差异，通常表现为多数类样本远多于少数类样本。 |
| 非欧几里得数据 | 不满足欧几里得距离性质的数据，如图、树、流形等，其结构复杂，需要特殊的统计方法处理。 |
| 表示摊销 | 一种通过共享表示计算来降低深度模型重复训练成本的技术，常用于提高计算效率。 |
| 功效一致性 | 统计检验在样本量增大时，能够以趋近于1的概率正确拒绝错误原假设的性质。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅