零滚动选超参！新方法省15.6万次模拟，性能仅差0.2%
Free-Probability Kernels for Zero-Rollout Hyperparameter Selection in Reservoir Computing
📖 AI 总结
本文提出了一种基于自由概率理论的确定性超参数选择方法，用于解决储层计算中因超参数调优而带来的高计算成本问题。传统方法依赖大量模拟回放来调整储层的增益、输入尺度和泄漏率等关键参数，而该方法通过自由概率推导出跨时滞传播系数，在极限宽度下构建确定性时间核，从而无需实例化或运行储层即可对候选操作区间进行排序。在十个合成时间序列基准上，零回放选择达到了与穷举模拟搜索几乎相同的平均部署分数（0.772对0.774），同时避免了156,600次选择回放；在有限回放预算下，该方法在所有测试预算中表现最优，且仅用4.8%的回放成本即达到穷举参考水平。在四个ETT电力变压器温度预测数据集上，五个保留候选在三个数据集中恢复了穷举操作点；在多元蜂窝流量预测中，每个单元15次回放即可达到462次回放的穷举参考性能，并在低预算下优于随机搜索和贝叶斯优化。这些结果表明，自由概率核可作为验证回放稀缺时选择储层操作区间的确定性替代方案。
🔑 关键词速览
| Reservoir Computing (RC) | 一种递归神经网络框架，使用固定随机连接的储层和训练简单的读出层，用于时间序列处理。 |
| Free Probability | 一种数学理论，用于分析非交换随机变量，此处用于推导储层混合特性的确定性系数。 |
| Kernel Ridge Regression | 一种正则化线性回归方法，通过核技巧处理非线性特征，用于小样本预测。 |
| Zero-Rollout Selection | 一种超参数选择方法，无需模拟储层运行，直接基于理论核进行选择。 |
| Leaky Linear Reservoir | 一种具有泄漏积分器特性的线性储层，其状态更新包含泄漏率参数，影响时间记忆。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅