该研究探讨语言模型在结构化领域适配中的表现差异,提出“表示兼容性”是影响适配效果的关键因素。作者以国际象棋为受控实验平台,对比符号编码(FEN)与空间格式(ASCII)两种语义等价但形式不同的状态表示,发现模型对同一语义输入的处理方式存在显著差异,进而影响学习与泛化能力。基于此,研究提出“表示对齐辅助监督”方法,利用环境衍生的任务在兼容表示下进行辅助训练。实验表明,该方法在相同目标数据条件下持续提升最优走子预测表现,其中揭示环境动态的任务带来的增益最大且最稳定,效果可与大幅增加目标数据量相媲美。此外,ASCII训练的模型向FEN迁移的效果优于反向迁移,甚至超过仅用FEN目标数据训练的基线,且增益可扩展至开放式事实性评论生成任务。
| 表示兼容性 (Representation Compatibility) | 模型有效处理结构化任务表示的程度,是影响适配效果的关键因素。 |
| 表示对齐的辅助监督 (Representation-Aligned Auxiliary Supervision) | 一种利用环境衍生任务并以兼容表示表达来提升结构化领域适配的辅助监督方法。 |
| FEN (Forsyth-Edwards Notation) | 国际象棋中用于描述棋盘状态的符号编码表示。 |
| ASCII 表示 | 国际象棋中用于描述棋盘状态的空间格式表示,以字符图形展示。 |
| 最优走子预测 (Optimal-Move Prediction) | 在国际象棋中预测当前局面下最佳下一步走子的任务。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅