时间序列预测中的Transformer与Informer模型对比.docxVIP

时间序列预测中的Transformer与Informer模型对比

一、引言：时间序列预测的挑战与模型演进

（一）时间序列预测的现实意义与传统局限

时间序列预测是通过分析历史数据的时序规律对未来趋势进行推断的技术，广泛应用于金融市场走势预判、气象灾害预警、城市交通流量调度、工业设备故障预测等诸多领域，其预测精度直接影响决策的科学性与有效性（李军等，2021）。在Transformer模型出现之前，时间序列预测主要依赖传统统计方法与深度学习模型：传统统计方法如ARIMA、SARIMA等依赖对数据分布的强假设，难以捕捉复杂的非线性时序关系；而以LSTM、GRU为代表的循环神经网络，虽然能处理序列依赖关系，但存在长序列依赖遗忘、并行计算能力弱等问题，在面对超长序列预测任务时性能显著下降（Hochreiter等，1997）。这些局限促使研究者探索更高效的建模方法。

（二）Transformer的引入与Informer的诞生

2017年，Vaswani等提出的Transformer模型凭借多头注意力机制打破了循环神经网络的串行计算限制，通过全局注意力捕捉序列中任意位置的依赖关系，为时间序列预测带来了新的解决方案（Vaswani等，2017）。随后，研究者将Transformer适配到时间序列预测任务中，证明其在捕捉复杂时序关联上的优势（Wu等，2019）。然而，Transformer的全注意力