说个手势就能查词!SignTrace用自然语言查中文手语词典,6699个词条,重排序让命中率从71.8%飙到94%!
SignTrace: Describe a Sign, Find the Word
arXiv CL (cs.CL) 大模型多模态应用 🕐 今天 12:00

📖 AI 总结

SignTrace 针对手语学习中的一个长期难题:学习者记得某个手语动作,却不知道其含义或正式特征编码,因而难以查词。该系统通过自然语言描述接入中文手语词典,整合了基于大语言模型的词典条目扩充、动作提取、词典风格改写、七通道检索以及候选重排序,覆盖 6699 个词条,并已投入用户试用。在由词典衍生的 500 条动作描述查询基准上,系统取得 94.0% 的 Hit@1、97.4% 的 Hit@9 和 0.9540 的平均倒数排名;重排序将 Hit@1 从 71.8% 提升至 94.0%,组件分析也验证了扩充描述的作用。六路并发查询的中位处理时间为 13.37 秒。该工作将日常动作描述与规范手语及其含义相连接,为识别陌生手语提供了实用工具,但基准中沿用词典措辞和预先选择,限制了其对用户自主生成描述的泛化能力。

🔑 关键词速览

SignTrace一种通过自然语言描述手势来反向查询中文手语词典的系统。
反向查询根据手势的动作描述查找其含义或词典条目的过程。
七通道检索系统采用七种不同的检索通道来匹配手势描述与词典条目。
候选重排序对初步检索得到的候选结果进行重新排序以提升准确率。
Hit@1评估指标,表示排名第一的候选结果正确的比例。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅