🔥 今日值得一读
金融大模型每年重训纯属浪费！新方法PALM用小适配器碾压继续预训练
PALM: Point-in-Time Adaptation for Financial Language Models
👨💼 主理人解读 · 为什么值得关注
做金融回测的开发者可用时点适配替代昂贵年度重训，低成本消除前视偏差。
📖 AI 总结
金融回测中使用的语言模型普遍存在前视偏差，因为模型训练语料可能包含研究期之后发布的文本，使其提前接触到需要预测的结果。现有解决方案是采用时点（PIT）语言模型，按时间过滤语料预训练并每年发布一个带明确截止日期的检查点，但每增加一年都需完整重跑预训练，其必要性此前从未被验证。该研究通过对比相邻年度检查点发现，新检查点在同一评估窗口内并无更优表现，说明年度预训练并非必要。为此作者提出PALM方法，在不修改任何预训练权重的前提下，仅基于决策日期前发布的文本拟合低秩适配器，即可为旧检查点补充新时段知识，且效果优于继续预训练。研究在十年金融新闻数据及多个PIT模型家族上完成验证，模型截止日期跨度达二十年，参数规模覆盖13亿至42亿。
🔑 关键词速览
| 前视偏差 | 在回测中使用未来信息导致模型预测结果过于乐观的偏差。 |
| 时点（PIT）语言模型 | 在按时间顺序过滤的语料上预训练，并每年发布一个检查点，每个检查点有明确截止日期的语言模型。 |
| 低秩适配器 | 一种参数高效的微调方法，通过向预训练模型添加低秩矩阵来适应新任务，而不修改原始权重。 |
| 继续预训练 | 在已有预训练模型的基础上，使用新数据进一步进行预训练，以更新模型知识。 |
| 检查点 | 模型在训练过程中保存的权重快照，通常对应特定时间点或训练阶段。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅