自适应连续表示发威！FST在PDE预测和图像分类上超越ViT，参数还更少！
Function-Space Transformer with Adaptive Anchors
📖 AI 总结
本文提出函数空间Transformer（FST），一种通过空间自适应连续隐表示从函数中学习的框架。针对物理场、几何形状和视觉信号等连续域函数通常以离散采样观测、而固定均匀网格表示难以兼顾局部变化与计算效率的问题，FST将特征存储于由输入观测预测位置的锚点上，并通过函数空间交互递归细化锚点特征，使表示的空间组织随每个输入自适应调整，而非继承观测网格结构，同时支持空间分辨输出和有限维输出。在PDEBench的Burgers和Darcy流PDE求解任务上，FST显著优于隐表示缺乏显式空间组织的Perceiver IO基线，并与傅里叶神经算子高度竞争；在ImageNet-1K上，FST以更少参数取得高于Vision Transformer基线的分类准确率。消融实验进一步验证了函数空间更新与递归细化的有效性。该工作表明自适应连续表示在科学预测与视觉识别中均具潜力。
🔑 关键词速览
| Function-Space Transformer (FST) | 一种通过空间自适应的连续潜在表示从函数中学习的Transformer框架，将特征存储在预测的锚点处并递归细化。 |
| Neural Operator | 一类学习函数到函数映射的神经网络，用于处理连续域上的数据，如偏微分方程的解算子。 |
| Latent-Attention Architecture | 一种利用潜在表示和注意力机制处理采样观测的架构，如Perceiver IO，能灵活处理不同模态的输入。 |
| PDEBench | 一个用于偏微分方程求解的基准测试集，包含Burgers方程和Darcy流等典型问题。 |
| Fourier Neural Operator (FNO) | 一种神经算子，通过在傅里叶空间中进行卷积来学习函数映射，常用于求解偏微分方程。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅