基于稀疏注意力的长序列预测研究综述.docVIP

基于稀疏注意力的长序列预测研究综述

长序列时间序列预测（LongSequenceTime-SeriesForecasting,LSTF）是工业互联网、气象预报、交通流量管理、金融风险防控等领域的核心需求之一。传统预测模型如ARIMA、Prophet在处理长度超过1000步的序列时，往往面临预测精度骤降、计算复杂度飙升的问题。2017年Transformer架构提出后，自注意力机制凭借强大的长程依赖建模能力，迅速成为时间序列预测领域的主流方案，但标准自注意力的时间和空间复杂度均为O(L2)（L为序列长度），当序列长度达到上万级别时，显存占用和推理延迟会达到无法承受的程度。稀疏注意力通过对注意力计算施加结构化约束，将复杂度降至O(L)或O(LlogL)，为长序列预测的落地提供了可行路径，近年来相关研究成果呈现爆发式增长。

稀疏注意力的核心设计范式

稀疏注意力的本质是在尽可能保留自注意力长程建模能力的前提下，减少需要计算的注意力分数对数量，其设计范式可分为四类：固定模式稀疏、自适应稀疏、低秩分解与线性化、混合稀疏架构。

固定模式稀疏

固定模式稀疏是最早被提出的稀疏方案，其核心思想是人为预定义注意力的连接模式，仅计算局部窗口和特定全局位置的注意力分数，无需额外的参数学习。局部窗口注意力是最基础的固定模式，每个位置仅与前后W个相邻位置计算注意力，复杂度直接降至O(LW)，当W远小