零阶优化新突破：ZoAQ查询重用省近半查询，黑盒攻击625次搞定CIFAR-10！
ZoAQ: Adaptive Zeroth-Order Querying via Query-Reuse Coupling
📖 AI 总结
本文提出ZoAQ，一种基于查询复用的自适应零阶优化方法。零阶优化依赖函数评估估计更新方向，扰动查询是主要开销：固定预算每步消耗相同查询数，而自适应控制器往往需额外调用预言机验证估计可靠性，抵消了节省效果。ZoAQ的核心思路是不再丢弃每步后的历史评估结果，而是让它们同时服务于下一次更新和是否继续查询的决策，从而在不增加验证查询的前提下实现自适应查询分配。理论分析刻画了这种一致性何时能识别出支持下降的更新，并引导控制器确定充分的查询预算。实验显示，在合成目标上，ZoAQ相较使用120万次查询的固定基线减少43%至48%的查询；在黑盒攻击中，于MNIST和CIFAR-10上分别以平均320次和625次查询达到100%成功率；在四种OPT微调设置下，相较固定K=4节省43%至46%的前向评估，任务准确率变化介于-0.018至+0.010之间。该工作为降低零阶优化的查询成本提供了有效途径。
🔑 关键词速览
| Zeroth-order optimization (ZOO) | 零阶优化，一种仅通过函数评估（而非梯度）来估计更新方向的黑盒优化方法。 |
| Query reuse | 查询重用，指在优化过程中重复利用过去已进行的函数评估结果，以减少新查询次数。 |
| Adaptive query allocation | 自适应查询分配，根据当前优化状态动态调整每次迭代使用的查询数量，以平衡成本与效果。 |
| Black-box attacks | 黑盒攻击，在无法获取模型内部参数或梯度的情况下，仅通过输入输出查询来生成对抗样本的攻击方式。 |
| OPT fine-tuning | OPT微调，指在预训练语言模型OPT上针对特定任务进行参数微调的过程。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅