这篇论文系统梳理了生成式AI中“模型崩溃”现象的研究进展与应对策略。所谓模型崩溃,是指在模型与数据的自我循环消费过程中,使用AI合成数据训练下一代模型,最终导致模型性能退化甚至崩溃的严重问题。文章指出,尽管合成数据缓解了真实数据供给压力,但也引发了可信度担忧。作者整合了不同应用场景下模型崩溃的表现形式,归纳了当前主流缓解措施,并指出了该领域面临的关键挑战与未来研究方向。该综述填补了模型崩溃系统性回顾的空白,为生成式AI的可持续发展提供了重要参考。
| Generative AI (GenAI) | 生成式人工智能,指能够生成新内容(如文本、图像等)的AI模型。 |
| Model Collapse (MC) | 模型崩溃,指在自我消耗循环中,模型因使用自身生成的数据训练而性能退化甚至崩溃的现象。 |
| Synthetic Data | 合成数据,由AI模型生成而非真实世界采集的数据,用于训练其他模型。 |
| Self-consuming Cycle | 自我消耗循环,指模型生成数据再用于训练下一代模型,形成循环依赖的过程。 |
| Trustworthiness | 可信度,指AI系统在可靠性、安全性、公平性等方面值得信赖的程度。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅