🔥 今日值得一读
仅需少量测量就能估算庞大影响矩阵，数据归因新方法MAGE和SPELL全面超越现有基线！
Data Attribution at Scale via Influence Matrix Estimation
👨💼 主理人解读 · 为什么值得关注
可高效估计删除训练样本对预测的影响，用于数据估值、机器遗忘与模型可解释性。
📖 AI 总结
这篇论文研究数据归因问题，即量化单个训练样本如何影响模型预测，其应用涵盖数据估值、机器遗忘和模型可解释性。由于神经网络具有非凸性，现有可扩展方法难以准确预测移除训练数据带来的影响。基于元梯度的方法（如MAGIC）虽能精确计算影响，但每个预测都需单独运行一次，成本高昂。作者将预算受限的归因问题转化为从少量测量中估计大规模影响矩阵，并发现最适合恢复该矩阵的测量方式与最适合归因本身的测量方式并不相同。据此提出MAGE和SPELL两种算法，分别用于矩阵重建和归因，且可直接运行于现有元梯度框架而无需额外开销。实验表明，在不同训练规模和测量预算下，该方法均显著优于现有基线。
🔑 关键词速览
| 数据归因 | 量化单个训练样本对模型预测影响程度的技术。 |
| 影响矩阵 | 一个矩阵，其元素表示每个训练样本对每个预测的影响大小。 |
| 元梯度 | 对训练过程本身进行微分得到的梯度，用于计算训练数据对模型预测的影响。 |
| MAGIC | 一种基于元梯度的数据归因方法，通过完整训练过程计算精确影响，但计算成本高。 |
| MAGE 和 SPELL | 本文提出的两种算法，分别用于影响矩阵的重建和数据归因，可在现有元梯度机制上高效运行。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅