语音优先AI全离线跑！Jetson上28.8t/s、89.2%准确率，树莓派5也能扛
Offline AI Modules: Voice-First Offline Architecture, Hardware Reference Stack, Quantization and Benchmarking
📖 AI 总结
该论文提出面向非洲语言社区的离线AI模块方案，针对语音为主要交互方式、网络连接不可靠或缺失的场景，构建了三个相互支撑的组件：模块化语音优先离线架构、低成本硬件参考物料清单，以及面向2-5B参数指令微调语言模型的可复现量化与基准测试流程。研究首次对整套技术栈开展端到端评测，覆盖NVIDIA Jetson Orin NX与Raspberry Pi 5两个硬件层级，评估三种指令微调模型在四种量化格式下的解码吞吐、对话延迟、内存与功耗等部署指标，并借助MasakhaNEWS数据集在英语、豪萨语、伊博语、尼日利亚皮钦语和约鲁巴语上考察多语言分类准确率与困惑度漂移，同时使用Ethio-ASR评测阿姆哈拉语和奥罗莫语的语音识别。核心发现是Q4_K_M量化在两个层级上均实现尺寸与质量的最佳平衡：gemma-4-E2B-it在该格式下于TierB达到28.8t/s解码吞吐和89.2%主题分类准确率，且三种模型均可在TierA的16GB内存预算内运行。
🔑 关键词速览
| Offline AI Modules | 离线AI模块，指完全在本地设备上运行、无需互联网连接的AI系统组件。 |
| Quantization | 量化，将模型参数从高精度（如FP16）转换为低精度（如4位整数）以减小模型大小和加速推理的技术。 |
| Q4_K_M | 一种4位量化格式，属于k-quant方法，在模型大小和推理质量之间取得平衡。 |
| MasakhaNEWS | 一个多语言新闻主题分类数据集，涵盖多种非洲语言，用于评估模型的多语言理解能力。 |
| Ethio-ASR | 针对埃塞俄比亚语言（如阿姆哈拉语和奥罗莫语）的自动语音识别基准或系统。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅