本文关注机器遗忘中数学证明与实际部署之间的落差:认证方法提供的是数学保证,而系统发布的是软件在有限精度下生成的具体产物。作者提出“可执行发布认证”(ExecCert),作为发布时的一层机制,对拟发布的候选产物进行认证,或闭合方法自身的原生证书,或通过“重训练参考发布验证”(RRV)确认其与当前保留集重训练结果的一致性。针对顺序删除场景中参考模型与存储数值状态分别演化的问题,作者在冻结表示加可变岭回归头的设定下,给出RRV的增量实现,使认证证据可跨多次删除请求持续维护。在四个已发表遗忘实现上的实验表明,ExecCert能保留有效证书、改变发布决策、收紧保守边界,并识别具体输出所支持的重训练参考保真度;顺序服务实验中,RRV消除了存储方程验证导致的错误发布,且当发布检查足够频繁时,增量认证比重新计算或维护验证因子的方案更经济。
| Machine Unlearning | 机器遗忘,指从已训练模型中移除特定数据影响的技术,以满足删除请求或数据质量要求。 |
| Executable Release Certification (ExecCert) | 可执行发布认证,一种在模型发布时对候选产物进行认证的机制,确保其符合数学保证。 |
| Retraining-Reference Release Verification (RRV) | 重训练参考发布验证,一种通过比较候选模型与当前保留集重训练模型来认证保真度的方法。 |
| Sequential Deletion | 顺序删除,指按顺序处理多个删除请求的场景,其中保留集和数值状态分别演化。 |
| Frozen Representations with Mutable Ridge Head | 具有可变岭头的冻结表示,指特征提取部分固定,仅最后一层线性回归头可更新的模型结构。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅