纯视觉新架构HiPerViT：二阶统计注入Transformer，纹理识别最高提升10.48个点！
HiPerViT: A Hierarchical Perceiver-Vision Transformer Architecture for Multi-Scale Texture Recognition
📖 AI 总结
本文提出HiPerViT，一种面向多尺度纹理识别的紧凑纯视觉Transformer架构。针对纹理判别信息主要依赖高阶空间统计而非物体形状的问题，作者将显式的二阶统计先验注入识别流程：结合全局与局部视图，用紧凑双线性描述子编码为统计token，并通过Perceiver式潜在蒸馏与一阶空间表示融合，使空间token能直接与二阶特征共现统计交互，无需多模态预训练或集成。在六个纹理识别基准上，HiPerViT较强纯视觉基线取得一致提升，DTD提升3.05个百分点，GTOS-Mobile提升10.48，1200Tex提升10.10。分析表明，增益基本不受提取二阶统计的骨干深度及交互与蒸馏阶段顺序影响，说明改进主要源于二阶统计信息作为一等表示信号的显式可用性，而非特定融合结构。
🔑 关键词速览
| HiPerViT | 本文提出的紧凑纯视觉架构，通过注入二阶统计先验来增强纹理识别能力。 |
| 二阶统计量 | 描述特征之间共现关系的统计信息，如协方差或双线性池化，能捕捉纹理的高阶空间结构。 |
| 统计令牌 | 将紧凑的双线性描述子编码成的特殊令牌，用于在Transformer中显式表示二阶统计信息。 |
| Perceiver风格潜在蒸馏 | 一种利用潜在向量对信息进行压缩和交互的机制，用于将统计令牌与空间表示融合。 |
| 纹理识别 | 计算机视觉任务，旨在根据图像中的重复性空间模式（如材质表面）进行分类或识别。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅