Transformer搞定异质几何数据，预测性能直逼理论极限！
Nonparametric In-Context Learning under Growing Geometric Complexity: Minimax Optimality and Local Geometry-Adaptivity of Transformers
📖 AI 总结
本文研究 Transformer 在未知局部几何条件下的上下文学习（ICL）预测问题，突破了以往非参数 ICL 理论局限于欧氏域或单一流形模型的不足。作者将数据建模为随样本量变化的流形混合，各分量在维度、光滑度和采样质量上均存在异质性。在局部分离与小扰动条件下，作者建立了刻画各分量聚合难度的极小极大下界，并构造了达到匹配上界的 oracle 切空间局部多项式估计器。该估计器对应一个结构感知的两阶段 softmax Transformer，配备几何预条件器与逐图卡局部多项式求解器，仅需对数深度和多项式规模即可实现相对极小极大速率可忽略的逼近误差。研究进一步给出了该类近经验风险最小化器的上下文泛化界，明确了预测器能够利用局部几何并达到聚合极小极大速率的条件。
🔑 关键词速览
| In-Context Learning (ICL) | 上下文学习，指模型无需更新参数，仅通过输入序列中的示例即可完成新任务的能力。 |
| Minimax Lower Bound | 极小极大下界，统计决策理论中衡量任何估计器在最坏情况下所能达到的最优误差下界。 |
| Manifold Mixture | 流形混合，指数据由多个不同维度和光滑度的低维流形混合生成的概率模型。 |
| Local Polynomial Estimator | 局部多项式估计器，一种非参数回归方法，通过在局部邻域内拟合多项式来估计未知函数。 |
| Softmax Transformer | Softmax Transformer，使用softmax注意力机制的Transformer架构，是当前大语言模型的基础组件。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅