聚类别再硬猜了!新方法直接给出不确定性区间,很多真实数据根本无唯一答案
Bracketing Uncertainty in Clustering Under the Manifold Hypothesis
arXiv ML (stat.ML) 重要 #聚类#流形学习#统计学习理论 🕐 09-17 12:00

📖 AI 总结

本文基于流形假设提出了一种新的聚类分析框架。作者指出,聚类的本质是依据数据点所属的流形连通分量进行划分,而两个分量能否被区分取决于环境分离度与采样最大间隙之间的几何权衡。现有方法往往忽略这一权衡,过度自信地给出单一聚类结果。为此,作者将内在流形几何量(体积增长与reach)与样本级量(填充距离与密度)结合,推导出互k近邻图上的阈值现象:当偏移量与填充距离之比高于上阈值时分量保持分离,低于下阈值时分量融合,两阈值之间构成几何不确定性区域,此时聚类数目无法从数据中唯一确定。基于此,作者提出流形聚类方法MBC,不再强行输出单一聚类数,而是返回一个显式的区间来量化数据本身的不确定性。实验表明,许多真实数据集实际处于不确定性区域内,聚类数目的模糊性往往是内在的,应当被量化而非强行消解。

🔑 关键词速览

流形假设假设高维数据实际上位于或接近一个低维流形上,为聚类提供几何基础。
互k近邻图一种图结构,其中两个点相连当且仅当它们互为对方的k个最近邻之一,常用于聚类分析。
填充距离衡量采样点覆盖流形的均匀程度,定义为流形上任意点到最近采样点的最大距离。
触及流形几何中的一个参数,表示流形上任意点周围局部邻域内包含的流形部分的最大半径。
基于流形的聚类本文提出的方法,通过返回聚类数目的区间来量化数据中的不确定性,而非给出单一估计。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅