课程专属AI答疑上线!70.5%回答带引用,拒绝跨课乱答,检索准确率提升6.3%
Cite or Decline: A Strict Course-Grounded Chatbot for STEM Lecture Videos
arXiv CL (cs.CL) 重要 #RAG#教育应用#聊天机器人 🕐 09-03 12:00

📖 AI 总结

该研究介绍了一个面向STEM课程讲座视频的检索增强聊天机器人系统,部署于VideoPoints平台并进行了为期一学期的实际教学应用。系统严格限定仅从当前课程材料中检索内容,利用章节摘要优化转录排序,并返回带时间戳的可点击引用。在833条学生消息中,70.5%包含引用,且未出现跨课程检索的情况;当缺乏讲座证据时,系统通常选择拒绝回答而非猜测。用户反馈显示,引用功能是最稳定的实用特性,而练习题目生成是学生最强烈的未满足需求。在公开基准EduVidQA上的评估表明,该设计相比纯稠密检索将正确讲座检索率提升了6.3个百分点。研究结论指出,课程隔离、引用支持和贴合学习习惯是此类系统有效部署的关键因素。

🔑 关键词速览

retrieval-augmented chatbot一种结合信息检索与生成模型的聊天机器人,先从资料库中检索相关内容,再生成回答。
timestamped citations带有时间戳的引用,指向视频中的具体时刻,便于用户验证和定位信息。
course isolation课程隔离,指聊天机器人仅从当前课程材料中检索,避免跨课程内容混淆。
EduVidQA一个用于讲座视频问答的公共多模态基准数据集,用于评估系统性能。
dense-only retrieval仅使用密集向量检索的方法,不结合其他策略如章节摘要排序。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅