TinyML架构搜索新突破：教师引导代理模型让Kendall-τ达0.74，方差降41%！
Rank-Reliable Teacher-Guided Fitness Approximation for Expensive Evolutionary Optimization: A TinyML Architecture Search Study
📖 AI 总结
本文提出TGL-NSGA-II框架，用于资源受限的TinyML神经架构搜索，核心思路是：昂贵的进化搜索无需对每个候选方案精确评估适应度，只需可靠判断"哪个候选更优"。该方法利用预训练教师模型按难度与类别联合分层组织样本，每个候选经过短时受限的知识蒸馏（KD-Lite）后在独立分层评估集上打分，再与高斯过程代理模型融合以筛选进入完整评估的候选。研究从评估方差、分数集中度、成对排名反转、期望Kendall-τ、首前沿识别及超体积扰动等维度进行分析，并推导出方差感知融合权重与容量自适应蒸馏规则。在关键词唤醒与鸟鸣分类任务上，实测Kendall-τ分别为0.74和0.62，均超过预测下界0.60和0.46；联合分层使代理分数方差较随机评估降低41%，而选择性教师失配会使Kendall-τ降至0.41。在受限评估预算下，该方法在关键词唤醒任务上取得最大平均超体积与最小代际距离，在BirdCLEF上获得最低平均假阳性率，运行速度较完整NSGA-II快2.2倍。作者指出，这些保证仅适用于种群级低保真评估，并不构成完整进化轨迹的收敛性证明。
🔑 关键词速览
| TGL-NSGA-II | 教师引导学习NSGA-II，一种用于昂贵进化优化的低保真框架，通过教师模型引导候选解评估。 |
| TinyML | Tiny Machine Learning，指在资源受限的微控制器等设备上部署的机器学习技术。 |
| KD-Lite | 一种简短且受限的知识蒸馏过程，用于在紧凑训练集上快速评估候选神经网络架构。 |
| Kendall-τ | Kendall秩相关系数，用于衡量两个排序之间的一致性，值越高表示排序越一致。 |
| Hypervolume | 超体积指标，用于多目标优化中评估解集的质量，表示解集支配的区域大小。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅