注意力新突破：样本量无关，精准定位个体信号行！
Diagonalized Attention for Individualized Regression: Latent-Row Localization and Prediction
📖 AI 总结
本文针对矩阵值协变量（如文本或图像表示中行对应词元或图像块）的回归问题，提出个体化稀疏回归框架：每个观测拥有各自感兴趣的行，而回归效应在总体间共享。为估计该模型，作者引入对角化注意力机制，利用查询—键分数定位样本特有的信号行，并通过值矩阵完成回归，其参数维度与样本量无关，且能在未知响应的情况下识别新观测的感兴趣行。理论方面，论文建立了存在性定理，证明在适当的分数分离与集中条件下，单头和多头对角化注意力模型能以高概率恢复潜在行，并给出预测风险界，从而为注意力评分如何定位异质矩阵数据中的样本特有信号提供了统计解释。模拟实验在回归与误设分类任务中验证了良好的预测与定位性能，真实情感分析则显示分类准确率提升且词元选择具有可解释性。
🔑 关键词速览
| 对角化注意力机制 | 一种利用查询-键分数定位样本特定信号行，并通过值矩阵进行回归的注意力变体。 |
| 个体化稀疏回归 | 针对矩阵值协变量的回归框架，每个观测值有自己感兴趣的行，但回归效应在总体中共享。 |
| 潜在行定位 | 识别矩阵值数据中与预测相关的特定行（如标记或图块）的过程。 |
| 预测风险界限 | 理论分析中给出的模型预测误差的上界，用于评估泛化性能。 |
| 分数分离条件 | 注意力分数中信号行与噪声行之间需满足的分离性假设，以保证模型可识别潜在行。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅