替代损失函数在 Transformer 模型评估中的应用-计算机科学-深度学习-神经网络-算法投资策略.pdf

替代损失函数在Transformer模型评估中的应用

JakubMichaków

TripleSun

Krakow,Polandjakub.michankow@

PaweSakowski

UniversityofWarsaw/Dep.ofQuantitativeFinanceandMachineLearning/

QFRG

Warsaw,Polandp.sakowski@.pl

Robertlepaczuk

UniversityofWarsaw/Dep.ofQuantitativeFinanceandMachineLearning/

QFRG

Warsaw,Polandrslepaczuk@.pl

本

译Abstract

中机器学习模型测试的适当设计和架构，特别是在应用于定量金融问题时，是至关重要的。

1

v这一过程中最重要的是选择用于训练、验证、估计目的以及超参数调整的恰当损失函数。

8因此，在本研究中，通过在股票和加密货币资产上的实证实验，我们引入了均值绝对方

4

5向性损失（MADL）函数，该函数更适于优化用于算法投资策略中的预测生成模型。我

6

1们将Transformer和LSTM模型的MADL函数结果进行了比较，并表明几乎所有情况

.

7下，Transformer的结果都显著优于使用LSTM获得的结果。

0

5关键词：深度学习、神经网络、LSTM、算法投资策略、损失函数

2

:

v

i1.介绍

x

r

a本研究的起点集中在机器学习和量化金融交叉领域的几个关键问题上。首先，理论焦点

在于确定最适合用于测试机器学习预测模型的架构。其次，包括利用这些预测生成算法投资

策略信号的实际努力。第三，涉及测试和比较Transformer模型与LSTM模型的有效性在

投资策略中的表现。最后，对来自股票和加密货币市场的多资产经验数据进行了实际测试。

本研究的主要目标是将变压器模型应用于时间序列预测，使用一种新引入的损失函数

（MADL）。我们还将变压器与LSTM进行了对比，采用了两种类型的资产类别。科学界存

在两个对立的观点：一方认为可以成功地将变压器应用于时间序列预测，另一方则认为不

能且不应这样做。双方都提供了重要的示例和研究来证明他们的观点。我们打算参与这一

讨论并开展我们的综合研究。

具有注意力机制的变压器模型首次在[18]中提出。自那时起，它们成为大型语言模型

（LLM）支柱之一而获得关注。它们也是诸如ChatGTP等工具的核心部分，这些工具被认

为在人工智能方面是开创性的。与LSTM和其他RNN类似，它们被设计用于处理顺序数

据，特别是文本和语言任务。

该方法基于应用两种替代模型（Transformer和LSTM）来生成两类资产的长/短信号：

加密货币（比特币、以太坊和莱特币）和股票（摩根大通、标普500和埃克森美孚公司），使

Michakówetal.Transformer模型评估中的替代损失函数...

用每日数据。为了尽可能延长样本外期间，采用了