本文提出ASGARD,一种面向强化学习无人机控制器的两阶段教师—学生防御框架,旨在应对动作空间攻击,即攻击者在策略生成动作指令之后、执行器执行之前篡改指令。现有防御多针对策略输入端的攻击,而处理动作空间攻击的方法需在训练阶段重新训练策略,难以在运行时抵御被污染的动作。ASGARD在教师阶段利用编码器将无人机物理状态与动作攻击相关的特权信息结合,生成攻击感知潜表示,用于训练控制策略及一个可向执行器输出修正动作指令的监控器;学生阶段则通过监督学习让编码器与监控器仅依赖无人机物理状态历史即可在机载运行。实验表明,ASGARD能在多种动作指令攻击场景下保持韧性并完成任务,且可泛化至未见攻击,对隐蔽攻击同样有效。
| Action-Space Attack | 在策略生成动作命令之后、执行器执行之前篡改动作命令的攻击方式。 |
| ASGARD | 本文提出的两阶段教师-学生流水线,用于提升基于强化学习的无人机控制对动作空间攻击的韧性。 |
| Teacher-Student Pipeline | 一种训练框架:教师阶段利用特权信息训练模型,学生阶段通过监督学习让学生模型仅用可获取信息在机载运行。 |
| Privileged Information | 训练阶段可用但部署阶段不可用的额外信息,如动作攻击相关信号,用于辅助教师模型学习。 |
| Stealthy Attack | 一种隐蔽的攻击方式,其篡改动作命令的行为不易被检测到,旨在绕过防御机制。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅