边缘小模型推理不可靠？神经符号路由在树莓派上实现98.3%准确率！
Neurosymbolic Routing for Reliable Reasoning on Resource-Constrained Edge Devices
📖 AI 总结
这篇论文针对边缘设备上小型语言模型在算术、代数和形式逻辑等结构化推理任务中可靠性不足的问题，提出了一种神经符号路由方案。作者认为，许多看似需要推理的查询本质上是结构确定性的，可以用快速精确的符号方法求解，无需让概率模型去近似。该路由通过L*语法推断算法学习一个确定性有限自动机，以小语言模型作为成员查询预言机、标注数据作为等价预言机，将结构化任务分派给确定性求解引擎，仅把开放式应用题留给小模型处理。在树莓派4B（8GB内存、无GPU）上，对DeepMind Mathematics、GSM8K和RuleTaker的100条未测试提示进行评估，学习到的路由达到100%路由准确率和98.3%的整体准确率，应用题准确率为93.3%，显著高于最强基线Program-of-Thought的72.0%和工具调用智能体的58.7%。由于格式化查询不经过模型，路由响应仅需1至11毫秒，在30词元配置下比Program-of-Thought快8.8倍、能效高2.8倍。该工作表明，通过神经符号分工可在资源受限设备上实现更可靠、更高效的推理。
🔑 关键词速览
| Neurosymbolic Router | 一种结合神经网络与符号推理的路由机制，用于将查询分派给最合适的求解器。 |
| Deterministic Finite Automaton (DFA) | 一种计算模型，用于识别正则语言，此处通过语法推理学习得到以指导路由决策。 |
| L* Grammatical Inference Algorithm | 一种主动学习算法，通过成员查询和等价查询从数据中推断出确定性有限自动机。 |
| Small Language Model (SLM) | 参数量较小、适合在资源受限设备上运行的语言模型。 |
| Program-of-Thought | 一种基线方法，通过生成程序代码来引导语言模型进行推理。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅