神经网络学分区方案，黑箱优化遗憾直降，大模型量化性能提升10%！
Adaptive Partitioning Schemes for Optimistic Optimization
📖 AI 总结
本文研究黑盒函数优化问题，针对工程设计中梯度不可得、函数评估预算有限的场景，提出了一类自适应分区方案的乐观优化算法。传统乐观优化算法（如SequOOL）依赖固定分区策略，而作者让算法在优化过程中学习更优的分区方案，并引入神经网络等灵活代理模型。理论分析表明，对于嵌入d维空间中m维子空间上的多指标函数，该算法的遗憾界为Õ(n^{-β/d})，其中β=1+(d-m)/(2m-1)，显著优于SequOOL的Õ(n^{-1/d})。作者还将该方法应用于OPT-1.3B模型的激活感知权重量化（AWQ），性能较最优未量化模型提升约10%。该工作为黑盒优化提供了更高效的分区学习框架，并在大模型量化任务上验证了实用价值。
🔑 关键词速览
| Optimistic Optimization | 乐观优化，一类用于黑箱函数全局优化的算法，通过分区方案和乐观估计来指导搜索。 |
| Simple Regret | 简单遗憾，衡量优化算法性能的指标，定义为当前最优解与全局最优解之间的函数值差距。 |
| Partitioning Scheme | 分区方案，将优化域划分为子区域的方法，用于指导乐观优化算法的搜索过程。 |
| Multi-index Functions | 多指标函数，一种函数形式，其值仅依赖于输入在低维子空间上的投影，常用于高维优化分析。 |
| Activation-aware Weight Quantization (AWQ) | 激活感知权重量化，一种针对神经网络权重的量化方法，考虑激活值分布以减少量化误差。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅