本文提出QiYao-I,一种面向不规则多元时间序列预测的流形基础模型。针对现有时间序列基础模型多基于规则采样序列、难以适应不规则时间间隔与异步跨变量依赖的问题,作者设计了采样条件时间流形注意力机制,将真实时间戳映射到可学习的时间流形特征空间,并向注意力层注入时间流形偏置,从而同时捕捉不规则时间间隔与局部采样结构;同时提出频率感知的动态变量交互机制,在异步观测下选择性地进行跨变量消息传递。在真实不规则多元预测基准上的大量实验表明,QiYao-I在性能上优于时间序列基础模型和端到端不规则预测模型,并在零样本与少样本设置下展现出较强的泛化能力。该工作为不规则多元时间序列的基础模型建模提供了新思路。
| 不规则多元时间序列 | 指多个变量在非均匀时间点采样、且各变量观测时间异步的时序数据。 |
| 基础模型 | 在大规模数据上预训练、可迁移到多种下游任务的通用模型。 |
| 时间流形注意力机制 | 将真实时间戳映射到可学习的流形空间,并据此调整注意力权重的机制。 |
| 动态变量交互机制 | 在异步观测下自适应地选择变量间进行消息传递的交互方式。 |
| 零样本/少样本学习 | 模型在未见任务上无需或仅需少量标注样本即可进行预测的设定。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅