价值信号+图预训练!ValueGraph让用户表征飙升,立场检测与机器人识别双突破!
ValueGraph: Value-Signal Guided Graph Pre-training for Contextualized User Representation
arXiv CL (cs.CL) 论文方法大模型 🕐 09-02 12:00

📖 AI 总结

ValueGraph 提出了一种基于价值信号引导的图预训练框架,用于生成情境化的用户表征。该研究指出,现有用户表征方法主要依赖文本内容和社交互动结构,却忽略了用户在表达态度时隐含的道德价值维度。为此,ValueGraph 从帖子-回复图中学习语义和结构表征,并利用自动推断的道德价值信号作为软约束,通过对比学习和聚类目标对齐用户间的相对价值相似性。与将推断价值视为硬性心理标签不同,该方法将其作为表征学习的辅助信号。实验在立场检测和推特机器人检测任务上取得了优于文本模型、图模型及纯文本大语言模型基线的稳定效果,验证了价值信号引导作为社会感知用户建模的有效归纳偏置。

🔑 关键词速览

ValueGraph一种图预训练框架,利用道德价值信号作为辅助信号来学习用户表征。
value signals从用户在线话语中推断出的道德价值倾向的聚合表征。
graph pre-training在图结构数据上进行预训练,以学习节点或图的通用表征。
contrastive and clustering objectives对比学习目标和聚类目标,用于对齐相似用户并区分不同用户。
inductive bias模型设计中引入的先验假设,帮助提高泛化能力。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅