AutoIndexer让AI像编辑一样自由改稿，插入删除词元不掉性能！
AutoIndexer: Flexible-Order Decoding by Training Causal Models on Chains of Edits
📖 AI 总结
AutoIndexer 针对自回归解码难以处理非因果顺序数据（如交叉引用或未来依赖）的问题，提出了一种模拟“编辑链”的生成模型训练与解码机制。该模型通过学习预测编辑的开始与结束标记，并像文本编辑器一样移动光标，从而能够对已生成的输出进行插入、替换和删除等灵活修改，弥补了扩散语言模型无法任意增删 token 的不足。其训练序列通过对真实标签施加逆向链式编辑扰动获得，模型则学习撤销这些逆向操作，因而对错误上下文具有鲁棒性，并能适应代码纠错等编辑任务。实验表明，该方法在不牺牲标准 LLM 基准性能的前提下，实现了多数自回归与扩散模型所缺乏的生成后上下文编辑能力。
🔑 关键词速览
| AutoIndexer | 本文提出的生成模型，通过模拟编辑链实现灵活顺序解码，支持对已生成内容进行插入、替换和删除。 |
| Chain of Edits | 一种模拟文本编辑器操作的序列编辑机制，允许模型在生成后通过一系列编辑操作修改先前输出。 |
| Autoregressive Decoding | 自回归解码，按从左到右的顺序逐个生成词元，无法事后修改已生成的输出。 |
| Diffusion LLMs | 扩散大语言模型，通过迭代去噪过程生成文本，部分缓解了自回归模型无法修改输出的限制。 |
| Perturbation Training | 扰动训练，通过逆链式编辑操作扰动真实标签生成训练序列，使模型学习撤销编辑并增强鲁棒性。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅