SignTrace 针对手语学习中的一个长期难题:学习者记得某个手语动作,却不知道其含义或正式特征编码,因而难以查词。该系统通过自然语言描述接入中文手语词典,整合了基于大语言模型的词典条目扩充、动作提取、词典风格改写、七通道检索以及候选重排序,覆盖 6699 个词条,并已投入用户试用。在由词典衍生的 500 条动作描述查询基准上,系统取得 94.0% 的 Hit@1、97.4% 的 Hit@9 和 0.9540 的平均倒数排名;重排序将 Hit@1 从 71.8% 提升至 94.0%,组件分析也验证了扩充描述的作用。六路并发查询的中位处理时间为 13.37 秒。该工作将日常动作描述与规范手语及其含义相连接,为识别陌生手语提供了实用工具,但基准中沿用词典措辞和预先选择,限制了其对用户自主生成描述的泛化能力。
| SignTrace | 一种通过自然语言描述手势来反向查询中文手语词典的系统。 |
| 反向查询 | 根据手势的动作描述查找其含义或词典条目的过程。 |
| 七通道检索 | 系统采用七种不同的检索通道来匹配手势描述与词典条目。 |
| 候选重排序 | 对初步检索得到的候选结果进行重新排序以提升准确率。 |
| Hit@1 | 评估指标,表示排名第一的候选结果正确的比例。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅