DNN表征逼近人类！无监督对齐实现个体级匹配，泛化能力大突破
Relational Knowledge Distillation Brings DNN Representations Close Enough to Humans to Be Aligned Without Supervision
📖 AI 总结
该研究探讨了如何通过关系知识蒸馏（RKD）缩小深度神经网络（DNN）与人类视觉表征之间的差距。以往研究虽表明关系迁移能提升相似性，但未在更严格条件下验证。作者采用无监督比较方法Gromov-Wasserstein最优传输（GWOT），基于内部距离结构估计人类与DNN的对应关系，并在与训练数据不重叠的概念测试集上评估泛化能力。结果显示，用RKD微调预训练DNN后，模型能在个体对象级别与人类对齐，且改进源于更接近人类的全局结构（如粗粒度类别间的距离排序），而局部最近邻重叠率变化不大。这表明关系迁移使DNN的全局表征足够接近人类，从而无需监督即可实现细粒度对齐，为将DNN作为人类视觉计算模型提供了新证据。
🔑 关键词速览
| Relational Knowledge Distillation (RKD) | 一种知识蒸馏方法，通过迁移教师模型（此处为人类表征）中的关系结构（如样本间距离）来训练学生模型（DNN）。 |
| Gromov-Wasserstein Optimal Transport (GWOT) | 一种无监督的最优传输方法，用于比较两个度量空间，仅基于内部距离结构估计对应关系。 |
| Representational Similarity | 衡量不同系统（如DNN和人类）内部表征之间相似程度的指标。 |
| Fine-grained Alignment | 在个体对象级别上，将DNN的表征与人类表征进行精确对应。 |
| Human Embedding | 从人类相似性判断中提取的高维向量空间，用于表示人类对物体的心理表征。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅