🔥 今日值得一读
GraphLLM高分被简单基线追平，同一方法不同论文竟差12.5个百分点！
Big Claims, Small Margins: Do Reported GraphLLM Gains Survive Simple Baselines?
👨💼 主理人解读 · 为什么值得关注
提醒你GraphLLM效果可能被高估，做文本图节点分类时先用TF-IDF加简单基线验证，避免盲目追新。
📖 AI 总结
该研究检验了基于大语言模型的文本属性图节点分类方法所报告的性能提升能否在简单基线面前成立。作者在三项近期研究的数据划分上，用仅依赖验证集调参的四种基线进行对比，发现基于TF-IDF特征的Correct & Smooth中位数仅落后论文报告的最佳LLM方法2.3个百分点，基于冻结e5-large-v2嵌入的MLP落后2.8个百分点；在24项任务中Correct & Smooth有15项与参考值差距在3个百分点以内，但在22项可检验任务中仍有12项参考值显著更高，说明部分提升确实存在。作者还通过核对公开代码记录了若干评估风险，包括在测试集上选择超参数或检查点、训练中使用测试池节点标签、未披露地复用基线数值以及Cora加载器的文本标签错位，并指出同一方法在配置未对齐的情况下跨论文报告结果最多相差12.5个百分点。
🔑 关键词速览
| Text-Attributed Graphs (TAGs) | 节点带有文本属性的图结构数据，常用于节点分类任务。 |
| Correct & Smooth | 一种基于图的后处理技巧，通过校正和光滑步骤提升节点分类性能。 |
| TF-IDF | 词频-逆文档频率，一种常用的文本特征表示方法。 |
| e5-large-v2 | 一种预训练的大规模文本嵌入模型，用于生成文本向量表示。 |
| MLP | 多层感知机，一种基础的前馈神经网络模型。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅