预测接地新范式！LOTUS用最少参数实现59.91%准确率，超最强基线3.36%
Lotus: Learning to Understand Time-series by Learning to Forecast
📖 AI 总结
本文提出了一种名为“预测锚定”的预训练原则，旨在解决现有时间序列语言模型仅依赖标签或问答对进行对齐、却未显式要求表示保留时序演化信息的问题。该原则要求语言对齐的时间序列表示在下游任务适配前仍具备对未来演化的预测能力。作者据此构建了LOTUS模型，将每个时间序列通道切分为不重叠的片段并映射到LLM嵌入空间，通过从隐藏状态预测下一片段来促使表示保留时间信息；同时提出时序-频谱片段表示，融合原始片段与其频谱表示以兼顾时序变化和周期模式。在三种语言模型骨干和六个下游数据集上，LOTUS以极少可训练参数取得最佳平均性能，准确率达59.91%，超过最强匹配基线3.36%。表示分析表明模型有效利用了数值输入并保留了时序结构。该工作确立了预测锚定作为有前景的预训练原则，使紧凑模型在TSRBench上超越其25至50倍规模的模型。
🔑 关键词速览
| 预测接地 (forecast grounding) | 一种预训练原则，要求语言对齐的时间序列表征在适配下游任务前仍能预测未来演变。 |
| LOTUS | 本文提出的时间序列语言模型，通过片段预测任务学习保留时间信息的表征。 |
| 时间-频谱片段表征 (temporal-spectral patch representation) | 将原始时间序列片段与其频谱表示结合，以同时捕捉时间变化和周期模式。 |
| LLM 嵌入空间 (LLM embedding space) | 大型语言模型将输入 token 映射到的连续向量空间，用于统一处理文本和时间序列。 |
| TSRBench | 时间序列推理基准测试集，用于评估时间序列语言模型在下游任务上的性能。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅