深度学习期货择时模型优化及应用.pdfVIP

量化研究报告 一、Seq2Seq 模型及Attention 机制 (一)模型组成 承接上篇报告，Sequence2Sequence 模型是一类特殊的循环神经网络架构， 现实生活中该模型通常被用来（但不限于此）解决复杂的语言问题，如机器翻译、 问题回答、创建聊天机器人、文本总结等。以经典的机器翻译过程为代表的场景 中，输入是一系列的词，而输出是翻译后的一系列词。而在订单簿择时模型的相 关预测中，输入为(Batch size * Time interval * Dimension) 维度的高维向 量，经神经网络编译后并解码后按顺序预测未来时间价格货价格变动，该模型的 顶层架构为 Encoder-Decoder 模型，该模型由两个LSTM 网络叠加而成，第一个 LSTM 网络为Encoder (编码器)，输入数据经过编码器后输入为负责将输入的序列 信息转化为预先设置好维度的一组编码，第二个 LSTM 网络为Decoder (解码器)， 负责将已经编译好的这组编码转化为对未来序列信息的预测。 Seq2Seq 模型相较于上篇报告所提到的所有模型有明显优势在于，该模型不 仅可以预测未来时刻价格点的预测结果(涨跌或价格)，同时可以在预测时生成其 他模型所无法比拟的价格序列，即多点价格预测。(该原理来自于解码器在生成未 来价格序列时也会用到前一时刻点所预测的价格数据.即 = ( ，ℎ −1 )). −1 图表 1：Seq2Seq 模型逻辑框架 李沐 深度学习 (二)Encoder-Decoder 模型 Encoder-decoder 模型也可以称为 seq2seq，它是为了应对 RNN 中无法满足 不等长序列的输入输出而产生的一个 RNN 变种。Encoder-decoder 是深度学习中 非常常见的一个模型框架，比如无监督算法的 auto-encoder 就是用编码的结构 设计并训练的，再比如神经网络机器翻译NMT 模型，往往就是LSTM-LSTM 的编码 -解码框架。 准确的说，Encoder-decoder 并不是一个具体的模型，而是一类框架。Encoder 3 / 17 oPoN