小模型逆袭！LoRA微调仅3900样本，查询澄清准确率96.6%碾压大模型
A Small Model Asks Better: Fine-Tuning Query Clarification for Retrieval-Augmented Generation
📖 AI 总结
该研究聚焦检索增强生成（RAG）系统中的查询澄清问题，针对多轮对话场景下用户查询表述不清、语境歧义，以及查询本身规范但与检索文档对照存在多种合理解读的情况，提出识别歧义并生成澄清请求的任务。作者构建了约3900条样本的ClariEdge数据集，包含歧义查询与无需澄清的负样本，并发现难负样本是区分真正歧义与可由上下文消解的“伪歧义”的关键。实验表明，轻量级微调LoRA模型在分类任务上达到96.6%准确率，在分类与澄清生成质量上均优于多个更大模型的提示基线，且在检索前与检索后两种场景中均表现良好，可作为RAG流程中答案生成前的检查环节。
🔑 关键词速览
| 检索增强生成 (RAG) | 一种结合检索外部文档与生成模型的框架，用于提升生成内容的准确性和时效性。 |
| 查询澄清 (Query Clarification) | 当用户查询模糊或不完整时，系统主动向用户请求更多信息以明确意图的过程。 |
| LoRA (Low-Rank Adaptation) | 一种轻量级微调技术，通过低秩矩阵适配大模型，显著减少训练参数和计算成本。 |
| 硬负例 (Hard Negatives) | 与正例相似但实际为负例的样本，用于训练模型更好地区分易混淆的类别。 |
| 多轮基于对话的场景 (Multi-turn Grounded Conversational Scenarios) | 涉及多轮交互且查询需结合对话历史或检索文档来理解的对话环境。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅