带符号词汇门控让意图路由风险降15.8%，覆盖率最高提升5.14个百分点！
Signed Lexical Confidence for Risk-Calibrated Intent Routing
📖 AI 总结
本文提出一种用于风险校准意图路由的带符号词汇置信度方法。研究将句子分类器的对数几率边际与稀疏词汇模型对预测意图的支持度相结合，构建带符号词汇门控：词汇一致时赋予正证据，词汇上更受偏好的竞争意图则赋予负证据，从而比无符号词汇置信度或硬性一致规则保留更多信息。随后通过独立的二项校准阶段，为指定风险目标选择操作阈值。在BANKING77、CLINC150和HWU64三个数据集各十次运行中，该评分相较仅语义的学习门控，将风险-覆盖率曲线下面积分别降低15.8%、15.1%和11.8%；在5%名义错误目标下，BANKING77和HWU64的接受覆盖率分别提升1.83和5.14个百分点；在更严格的2%目标下，全部30个数据集-运行组合均得到非空策略。匹配对照实验表明，该特征在平均错误排序上优于无符号词汇置信度特征，并在部分数据集上优于二元一致规则。该双特征门控为风险校准意图路由提供了一种紧凑、可解释的置信度增强手段，同时保持基础分类器的预测不变。
🔑 关键词速览
| 选择性意图路由 | 一种机制，允许助手对高置信度预测直接执行，而对不确定请求进行延迟或转交人工处理。 |
| 带符号词汇门控 | 一种结合分类器逻辑值边际与稀疏词汇模型支持度的门控机制，正证据表示词汇一致，负证据表示存在词汇上更优的竞争意图。 |
| 风险-覆盖率曲线 | 评估选择性预测系统性能的曲线，横轴为覆盖率（接受预测的比例），纵轴为风险（错误率），曲线下面积越小表示性能越好。 |
| 二项校准 | 一种基于二项分布假设的校准方法，用于在给定风险目标下选择操作阈值，确保满足错误率约束。 |
| 逻辑值边际 | 分类器输出的最高逻辑值与次高逻辑值之间的差值，反映模型对预测类别的相对置信程度。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅