扩散模型当用户编码器，十个工业场景全面碾压SOTA！
Rethinking User Encoders: Routing Diffusion States for Scenario-Adaptive User Representation
📖 AI 总结
该论文针对现有基于大语言模型的用户编码器提出改进思路。这类编码器将异构行为日志序列化后，通过自回归预测压缩为静态表示，但单向约束限制了双向信息流动，阻碍跨模态交互与多源信号的联合保留，导致学到的静态表示难以满足不同下游场景对证据的差异化需求。作者将扩散语言模型的迭代去噪过程视为多粒度重建空间，提出FINDERS框架，包含去噪、因子化、路由和压缩四个操作，利用可学习元槽将互补的去噪状态组织为可迁移的跨模态语义与模态特定行为因子，并构建含显式行为依据的大规模语料BehaviorQA提供监督。场景查询引导轻量级路由器动态强调相关槽方向。在十个工业场景的实验与在线A/B测试中，该方法在统一和场景自适应设置下均优于现有方法，拓展了扩散语言模型在语言生成之外作为用户表示学习器的应用潜力。
🔑 关键词速览
| dLLM (Diffusion Language Model) | 扩散语言模型，一种基于迭代去噪过程生成或表示文本的模型，区别于传统的自回归语言模型。 |
| FINDERS | 本文提出的框架名称，全称为FactorIzatioN of Diffusion statEs for Routing across Scenarios，即用于跨场景路由的扩散状态因子分解。 |
| Meta-slots | 可学习的元槽，用于组织去噪状态，将其分解为可迁移的跨模态语义和模态特定的行为因子。 |
| BehaviorQA | 本文构建的大规模语料库，包含明确的行为理由，用于提供有依据的监督信号。 |
| Router | 轻量级路由器，根据场景查询动态强调相关的槽方向，以实现场景自适应表示。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅