📖 AI 总结

Linkup Research 发布了开源稀疏嵌入模型 SPARSEUP，基于 149M 参数的 ModernBERT 骨干网络，采用 Apache 2.0 许可。该模型在 BEIR-13 基准上取得 56.4 的平均 nDCG@10，团队称其为 150M 参数以下最强的公开词汇表稀疏编码器。SPARSEUP 的推出填补了 LightOn 此前发布的 DenseOn 与 LateOn 所缺失的稀疏检索环节，三者共享同一骨干家族和微调数据，便于横向对比。训练从 LateOn-unsupervised 检查点出发，仅使用对比学习，每个查询配 7 个硬负样本，单张 H100 即可完成。针对原始 SPLADE 产生大量停用词的问题，团队引入 logit 偏移、逐位置 top-k 和大小写折叠三项改进，有效控制向量稀疏度。模型权重已在 Hugging Face 开放，可通过 Transformers 或 Sentence Transformers 加载部署。