theano_lstm源码算法分析v1.0.docxVIP

theano_LSTM源码算法分析一、网络参数本文档分析的源码来自于theano官网的一份LSTM源码（/tUtorial/LSTM.html）, 用LSTM网络分析一条电影影评是赞赏还是批判。dim_proj128词向量维度lrate0.0001学习率n_Words10000词库单词数maxlen100最大句子长度batch_size16SGD的batch大小node128LSTM节点数二、网络结构一个LSTM网络（dim_proj=128个LSTM节点）的结构如上图，计算公式和参数如下：xdim_proj=128维向量输入Wdim_proj=128维向量，4组权重o数值输出门Udim_proj=128维向量，4组权重c数值细胞状态b数值，4组偏置f数值遗忘门h数值隐藏层输出i数值输入门 该结构图是时间轴上的展开图，图中的所有LSTM网络其实是一个，输入xt为词向量，dim_proj=128维，n为句子的长度（即多少个单词），LSTM内部共有node=128个LSTM节点（节点数量必须与词向量维度相同，因为每个节点输出一个ht数值，所有节点组成的的维度要与xt保持一致），当一个句子计算完成后将每一step的取平均值，再经过softmax分类器得到最终的判断结果，计算公式如下：dim_proj=128维向量输入b数值偏置U[dim_proj=128，2]维矩阵权重z2维向量