DYWPE: 针对时间序列变换器的信号感知动态小波位置编码.pdfVIP

DYWPE:针对时间序列变换器的信号感知动态小波位置编码

HabibIrani,VangelisMetsis

ComputerScienceDepartment,TexasStateUniversity

SanMarcos,TX78666,USA

ABSTRACT绝对位置但表现出截然不同的时间动态的时间序列片

现有的转换器中的位置编码方法本质上是与信号无关段：一个代表安静稳定的时期，变化极小；另一个捕

的，它们仅从序列索引中获取位置信息，而忽略了底捉的是波动剧烈、高频振荡的时期。传统的位置编码

本层信号特征。这一限制对于时间序列分析特别成问题，为这两种情况赋予了相同的位置表示，未能捕捉到对

译在时间序列分析中，信号在多个时间尺度上表现出复于有效的时间序列建模至关重要的不同时间签名。这

中杂的非平稳动态特性。我们介绍了动态小波位置编码种信号无关的方法在处理非平稳信号时变得尤为成问

1（DyWPE），这是一种新颖的信号感知框架，它使用题，其中统计特性随时间变化，或者在多尺度现象中，

v离散小波变换（DWT）直接从输入的时间序列生成位不同的频率成分携带不同的语义含义。最近的综合研

0置嵌入。在十个多样化的时序数据集上的综合实验表究强调了在时间序列应用中不同位置编码策略之间显

4

6明，DyWPE一致优于八种现有的最先进的位置编码著的表现差异[6]，但没有任何现有方法解决信号无关

4

1方法，在生物医学信号中相对于基线正弦绝对位置编定位的基本限制。

.

9码的平均相对改进为9.1%，同时保持了具有竞争力的为了解决这一问题，我们引入了动态小波位置编

0

5计算效率。码（DyWPE），这是一种新型的信号感知框架，为时

2间数据提供了更强大的归纳偏置。虽然理论上一个足

:IndexTerms—位置编码，变换器，时间序列，小

v够大的变压器可以学习到与信号无关的位置和信号内

i波变换，信号处理。

x容之间的复杂关系，但这迫使模型从零开始学习时序

r

a动力学的基本原理。DyWPE通过直接在位置表示本

1.介绍

身中编码信号的局部、多尺度特性进入，使这一学习

变换器架构彻底革新了跨多个领域的序列数据建任务更高效。它通过利用离散小波变换（DWT）和可

模，从自然语言处理到时间序列分析[1]。使变换器能学习的门控机制，从信号内容生成位置嵌入，创建一

够处理序列数据的基本组件是位置编码，它通过将位个能够动态适应局部行为的丰富表示。这种方法减轻

置信息注入输入表示中来解决自注意力机制内在的排了局部模式识别的负担，使得自注意力层可以更加有

列不变性问题。效地捕捉长距离、高层次的相关性。

在时间序列分析中，由于内在的时间依赖性和复我们的主要贡献是：(1)首个信号感知的位置编

杂多尺度模式的特征，位置编码的重要性得到了放大码框架，该框架从信号内容中提取位置信息而非序列

[2,3]。然而，现有的位置编码方法，从正弦波编码[1]索引；(2)使用DWT/IDWT操作的计算高效实现，其

到复杂的相对定位方案[4,5]，都存在一个根本性的线性复杂度为；(3)在十一项多样数据集上的全

限制：它们是信号无关的。这些方法完全依赖于抽象面实验验证，展示了相对于八种现有方法的一致优