LSTM模型市场择时策略.pdfVIP

|量化研究报告 1.长短期记忆模型基本理论 长短期记忆模型(Long Short-Term Memory, LSTM)，是一种特殊的循环神经网络， 能够学习长期依赖性。长短期记忆模型在各种各样的问题上表现非常出色，现在被广 泛使用，例如，文本生成、机器翻译、语音识别、时序数据预测、生成图像描述和视 频标记等。这一节我们主要介绍长短期记忆模型的基本理论，包括模型定义和算法。 1.1.长短期记忆模型的定义 1.1.1.循环神经网络 循环神经网络将时间的概念引入了模型中，在循环神经网络中，每个节点都是一 个循环单元，循环结构的加入使得网络的层之间相连，并且是全连接的形式，每一层 的节点之间也是互相连接的，网络会按照时序关系对输入及反馈的信息进行处理，即 当前时刻节点的输出是由当前时刻的输入以及前一时刻的反馈共同决定的，此反馈也 可称为状态或记忆。将循环单元的结构按照时间顺序展开，可知此类链式结构十分适 合处理时序数据。 正如其它神经网络，循环神经网络的学习同样分为前向传播以及反向传播。 （1）前向传播 t 时刻的输出由t-1 时刻的状态和ｔ时刻的输入共同计算而得，则t 时刻的状态： ℎ = ( + ℎ−1 + ) ，其中 (·)为激活函数，U、V 均为权重且不同时刻同类型的 权值是共享的，不随时间变化而产生变动，ｂ为偏置。则 ｔ时刻的输出为： = ℎ + ，其中W 也为权重，取值规则与U、V 相同，c 也为偏置。则最终模型预测的 输出为：ෝ = ( )。 （2）反向传播 损失函数的计算公式为： = − ෝ ,其中，L 为t 时刻的损失值， 为t 时 刻的实际值。 反向传播就是为了使损失函数最小化，随着时间以需要优化的参数的负梯度方向 为准来计算累计残差的过程，最终直至损失收敛，而需要优化的参数是指 U、V 和 W。 循环神经网络加入的循环结构使得模型较之传统神经网络更为复杂，却增加了其 灵活度和适应性，提高了特征学习的能力，也使得模型解决了传统神经网络难以处理 时序数据的问题，同时共享的权重参数也一定程度上降低了因循环结构而增加的模型 复杂度，减少了计算量，使之在理论上可以处理任意长度的时序数据问题。但是在实 际问题处理的过程中，当需要处理长期依赖关系的数据时，权重参数 U、V 会在训练 过程中逐渐衰减或放大：倘若梯度大于１，当t 增大时，最终的梯度则会趋于无穷大， 模型参数不稳定，无法收敛，此为梯度爆炸；倘若梯度小于1，则当t 增大时，最终 的梯度会趋于 0，模型参数不更新，此为梯度消失。因此，循环神经网络往往只能处 理较短的序列，而为了解决这个问题，便出现了LSTM 网络。 1.1.2.长短期记忆模型 4 |量化研究报告 长短期记忆网络其实是循环神经网络变形中的一种，其出现就是为了弥补循环神 经网络无法处理长序列数据的缺陷。长短期记忆网络神经元的结构与循环神经网络相 比，主要有两大部分的变化：首先是，在长短期记忆网络神经元中多了一个存储单元 用于存储长期记忆；此外，其内部还引入了三个逻辑门控单元，可以控制信息的存储 与流动，使得有用的信息得以被留存，无用的信息被遗忘，让模型能够以较小的成本 来实现不错的记忆效果。 存储长期状态和临时状态的细胞单元分别用 和෥ 表示，三个逻辑门控单元分别 为输入门、遗忘门和输