🔥 今日值得一读 同质性分层让GNN评估更稳,平均排名1.49碾压随机2.31!
Not All Nodes Are Created Equal: Homophily-Aware Stratification for Stable GNN Evaluation
arXiv ML (stat.ML) 🔥 重点 #图神经网络#评测基准#交叉验证 🕐 09-18 12:00
👨‍💼 主理人解读 · 为什么值得关注
帮助开发者在节点分类任务中获得更稳定的GNN评估结果,避免随机划分导致的架构比较不可靠。

📖 AI 总结

图神经网络在直推式节点分类中通常采用随机划分的训练/验证/测试集来评估准确率,但同一数据集在不同随机划分下报告结果波动明显,导致架构间的比较不可靠。传统非图场景的补救方法是分层k折交叉验证,以保证每个测试折反映完整类别分布。该研究指出,仅按类别分层对图数据并不充分:节点并非孤立存在,不同折中局部邻域同质性的分布差异会使模型面对系统性不同的关系条件,从而直接影响消息传递行为,由此产生的跨折波动反映的是划分的同质性构成,而非模型本身的真实差异。为此,作者提出一种拓扑感知的分层方法,以节点同质性作为主要分层轴,同时将类别标签作为次要轴以保持类别代表性。在涵盖完整同质性谱的15个节点分类数据集和7种GNN架构上的评测显示,该方法平均稳定性排名为1.49,优于随机k折的2.31,并在15个数据集中的13个上取得最低稳定性排名,同时类别平衡接近类别分层划分。研究认为,同质性感知的划分构建值得在GNN评估中更广泛采用。

🔑 关键词速览

Homophily同质性,指图中相连节点倾向于具有相同类别标签的程度,是影响GNN消息传递的关键拓扑属性。
Stratified k-fold cross-validation分层k折交叉验证,一种确保每个折中类别分布与整体数据集一致的评估方法,常用于非图设置。
Transductive node classification直推式节点分类,一种图学习任务,其中测试节点在训练阶段可见但标签未知,模型需预测这些节点的类别。
Message-passing消息传递,图神经网络中节点通过聚合邻居信息来更新自身表示的核心机制。
Stability rank稳定性排名,用于衡量不同数据划分下模型性能波动程度的指标,排名越低表示评估越稳定。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅