Perplexity Research 与 turbopuffer 联合发布了 pplx-embed-v2-context-9b-preview,一款面向 RAG 管线的上下文嵌入模型。其核心创新在于训练信号:模型不再只学习检索单一“黄金段落”,而是同时检索答案及其验证所需的上下文。传统 RAG 训练通常将每个查询对应一个黄金块,其余块均视为负样本,这会连带排除支撑答案可验证性的句子,并带来标签粗糙、标注成本随数据规模线性增长、标签绑定单一分块策略等问题。该模型以 Perplexity 的查询感知上下文压缩模型为教师,通过分块相关性评分、温度缩放软目标、前向 KL 蒸馏损失及基于 MaxSim 的文档级 InfoNCE 损失进行训练,并在每批次随机采样分块策略。模型权重已在 Hugging Face 以 MIT 许可发布,可自托管预览,但尚未接入 Perplexity API,且权重与接口可能不向后兼容。
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅