四分支交叉注意力加随机游走，QUARTET让图Transformer在RelBench上全面超越SOTA！
QUARTET: Quad-branch cross-Attention and Random-walk Traces for Enhancing Transformers on Relational Graphs
📖 AI 总结
本文提出QUARTET，一种用于关系型深度学习的图Transformer架构，旨在改进现有领先模型RelGT的两处不足：其随机局部采样器生成的子图连接松散，不利于消息传递；其全局注意力模块仅依赖单一的种子特征记忆，忽略了宏观动态。QUARTET的解决方案包括两部分：一是基于近期截断个性化PageRank的因果随机游走采样器，可提取紧凑、抗枢纽且稠密连接的局部子图，且不引入时间泄漏；二是四分支交叉注意力模块，从种子特征、种子拓扑、时间动态和协作动态四个互补视角整合全局上下文。在RelBench v1分类任务上，QUARTET达到或超过当前最优图Transformer基线HGT和RelGT。消融实验表明，因果随机游走采样器显著提升了局部邻域质量，而全局分支带来了任务特定的关键预测增益。该工作已被LoG 2026主会议接收。
🔑 关键词速览
| Relational Deep Learning (RDL) | 关系深度学习，将多表数据库建模为异质时序图以进行深度学习的方法。 |
| Graph Transformer | 图Transformer，将Transformer架构应用于图结构数据的模型，能捕捉长程依赖。 |
| Causal Random Walk (CRW) | 因果随机游走，一种基于时间截断的随机游走采样方法，避免时间泄漏。 |
| Personalized PageRank (PPR) | 个性化PageRank，一种衡量节点相对于种子节点重要性的图排序算法。 |
| Cross-Attention | 交叉注意力，允许模型在不同表示子空间之间交换信息的注意力机制。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅