该论文正式提出并系统刻画了“亚里士多德流形”这一概念,将其建立在柏拉图表征假说之上。研究将高容量基础模型视为通用感知过滤器,通过逐层分析,系统考察了网络深度、降维方法与距离度量之间的相互作用,以揭示潜在子空间中知识的功能性合成方式。研究发现,语义成熟并非沿单一单调路径发展,不同数据域呈现出截然不同的几何响应特征:专业临床模态表现为中间隆起的丘状峰值,而自然视觉任务则呈现S形平台。通过定位表征效率达到峰值的精确坐标,作者建立了一套可预测的层选择与特征压缩分类体系。该工作表明,映射冻结表征的内部几何结构,为理解与利用基础模型潜在空间提供了一种无需反向传播、可解释且稳健的框架。
| Aristotelian Manifolds | 一种基于柏拉图表示假说的广义结构框架,用于描述基础模型潜在空间中的几何结构。 |
| Platonic Representation Hypothesis | 假设不同模型和数据共享一个共同的潜在表示空间,类似于柏拉图式的理想形式。 |
| Foundation Models | 大规模预训练模型,如GPT和BERT,可作为通用感知过滤器。 |
| Backpropagation-free | 无需反向传播训练,通过直接分析冻结表示来理解模型。 |
| Representational Efficiency | 表示在特定层或子空间中达到最优信息压缩和区分能力的程度。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅