该论文研究AI辅助决策中的在线审计问题:系统每轮给出一个决策及可信度评分,决策与评分可来自不同模型(如一个模型提议、另一个验证),据此决定自动接受还是交由人工审计。作者将其建模为在线约束优化问题,目标是在保证未被审计的AI错误比例低于用户设定阈值的前提下,尽量减少人工审计频率。研究提出一族无需任何假设即可证明误差控制保证的算法,其中一种方法达到最优效率,在对抗性和独立同分布数据流下均渐近逼近最佳可达审计率。在有害请求筛查、文本标注和数据标注实验上,该方法实现了有效的误差控制,并较基线显著减少人工审计需求。
| 在线约束优化 | 一种在序列决策过程中优化目标函数同时满足约束条件的数学框架。 |
| 错误控制保证 | 算法确保错误率不超过预设阈值的理论保证。 |
| 审计率 | 需要专家审计的决策比例。 |
| 对抗性数据流 | 数据可能被恶意设计以挑战算法性能的序列。 |
| 独立同分布数据流 | 数据点相互独立且服从相同概率分布的序列。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅