高棉语搜索大突破！BM25召回率高达94.3%，混合检索直追最强性能
KSE-Web: An Analysis of Hybrid Retrieval and LLM-Assisted Query Expansion for Low-Resource Khmer Semantic Search
📖 AI 总结
本文研究了低资源语言高棉语的语义搜索问题，针对其标注数据稀缺、词边界模糊、多语言嵌入模型支持弱及高棉语-英语混用等挑战，提出了KSE-Web分析框架。研究构建了包含约1.7万候选标题、经清洗后保留3000篇全文文档的数据集，并配有300条人工审核的用户风格查询及部分人工验证的相关性标签。实验评估了字符n-gram BM25、多语言稠密检索、混合检索及基于Qwen2.5的大语言模型辅助查询扩展。结果显示，BM25表现最佳，召回率达0.943，nDCG为0.876；混合检索性能相近，而纯稠密检索较弱。大语言模型查询扩展未超越非扩展方法，但Qwen2.5-3B显著优于0.5B版本，表明模型规模对扩展质量至关重要。研究还发现直接扩展易引发主题漂移和噪声，简单过滤可能丢失语义线索，凸显了大语言模型辅助检索的潜力与局限，为未来高棉语检索数据集和模型发展奠定基础。
🔑 关键词速览
| 混合检索 | 结合稀疏检索（如BM25）和稠密检索（如向量嵌入）的方法，以利用两者的优势。 |
| LLM辅助查询扩展 | 使用大型语言模型生成或改写查询词，以增强检索效果的技术。 |
| 低资源语言 | 指可用数据（如标注语料）稀缺的语言，如高棉语，导致NLP任务困难。 |
| BM25 | 一种经典的稀疏检索算法，基于词频和文档长度计算相关性得分。 |
| 稠密检索 | 使用神经网络将文本映射为向量，通过向量相似度进行检索的方法。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅