本文提出了一种名为 Bern2Edge 的端到端神经符号编译器,旨在解决高精度神经网络在资源受限边缘设备上部署的难题。该框架通过知识蒸馏,将预训练的教师网络转换为基于伯恩斯坦多项式激活的硬件高效表示,并提供两条部署路径:高保真查找表实现和基于符号规则的推理路径。实验表明,在相同压缩条件下,伯恩斯坦多项式网络相比 ReLU 网络精度提升最高达 2.12 个百分点;在 AMD Xilinx KV260 FPGA 上,系统级延迟降低最高 99.8%,BRAM 使用减少 95.2%,精度损失控制在 0.5 个百分点以内,并成功部署于低功耗 Spartan-7 FPGA。规则路径在牺牲 1.5 个百分点总精度的前提下,DSP 使用量减少 89.0%。该工作弥合了软件训练模型与高效硬件部署之间的鸿沟,兼顾了模型保真度与可解释性。
| Bern2Edge | 一个端到端框架,通过伯恩斯坦多项式激活将预训练模型转换为硬件高效表示,支持LUT和符号规则两种部署路径。 |
| Bernstein polynomial activations | 伯恩斯坦多项式激活,一种基于伯恩斯坦基函数的激活函数,用于生成硬件友好的模型表示。 |
| Knowledge distillation | 知识蒸馏,一种模型压缩技术,通过将教师模型的知识迁移到学生模型来简化部署。 |
| LUT-based realization | 基于查找表的实现,利用查找表来近似激活函数,以实现高保真和高效的硬件部署。 |
| Symbolic rule-based representation | 符号规则表示,从激活几何中提取显式规则,提供可解释的推理过程。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅