本文提出ENAS,一种面向资源受限微控制器的硬件感知神经架构搜索框架,专为TinyML场景设计。与依赖GPU加速的现有NAS方法不同,ENAS无需GPU即可高效运行,其核心包括静态可行性检查、支持标准卷积、深度可分离卷积和瓶颈块(含可选跳跃连接)的单元级搜索空间,以及随机搜索、Top-K筛选、变异三阶段混合搜索策略,并配有跨运行持久缓存。研究在Visual Wake Words和黑色素瘤癌症两个基准上,跨八款微控制器(SRAM从20KB到1MB)和九种输入分辨率进行评估。结果显示,ENAS在两个数据集上的平均搜索时间分别提速2.41倍和1.70倍,测试精度与NanoNAS相当;其选出的模型峰值激活RAM显著更低,而这一指标正是微控制器部署的关键瓶颈。在STM32H743上,ENAS达到79.4%的测试精度,较仅用CPU的贪心基线高出2.6个百分点。该框架已开源,为无GPU环境下的TinyML模型设计提供了实用方案。
| ENAS | 一种硬件感知的神经架构搜索框架,专为资源受限的微控制器设计,无需 GPU 即可高效运行。 |
| TinyML | 在微控制器等资源极度受限的设备上部署和运行机器学习模型的技术领域。 |
| 神经架构搜索 (NAS) | 自动搜索最优神经网络架构的方法,通常涉及搜索空间定义和搜索策略设计。 |
| 深度可分离卷积 | 一种将标准卷积分解为深度卷积和逐点卷积的轻量级卷积操作,可大幅减少计算量和参数量。 |
| 峰值激活 RAM | 模型推理过程中同时存在的激活值所占用的最大内存,是微控制器部署的关键约束。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅