KerasRNN与情感分类（代码）.pdfVIP

KerasRNN与情感分类（代码） 1 RNN简介 RNN为了处理序列数据，层内节点的输出还会重新输⼊本层，以实现学习历史，预测未来。 RNN的两个主要改进是和，⼆者为基本神经单元增加了额外的功能门，从⽽更好的实现长时记忆的处理。 在此基础上，通过两层或者多个RNN层的堆叠，可以实现双向循环神经⽹络(bidirectionalRNN)及深层循环神经⽹络(deepRNN)。 2 Keras对 RNN的⽀持 Keras在layers包的recurrent模块中实现了RNN相关层模型的⽀持，并在wrapper模块中实现双向RNN的包装器。 2.1 recurrent模块导出类 名称 作⽤ 原型参数 SimpleRNN 全连接 SimpleRNN(units, activation=’tanh’, use_bias=True, kernel_initializer=’glorot_uniform’, RNN recurrent_initializer=’orthogonal’, bias_initializer=’zeros’,dropout=0.0, recurrent_dropout=0.0)) ⽹络 GRU 门限循 GRU(units, activation=’tanh’, recurrent_activation=’hard_sigmoid’, use_bias=True, 环单元 kernel_initializer=’glorot_uniform’, recurrent_initializer=’orthogonal’, bias_initializer=’zeros’, dropout=0.0, 层 recurrent_dropout=0.0) LSTM 长短期 LSTM(units, activation=’tanh’, recurrent_activation=’hard_sigmoid’, use_bias=True, 记忆模 kernel_initializer=’glorot_uniform’, recurrent_initializer=’orthogonal’, bias_initializer=’zeros’, 型层 unit_forget_bias=True, dropout=0.0, recurrent_dropout=0.0) 2.2 wrapper模块导出类 名称 作⽤ 原型参数 TimeDistributed TimeDistributed(layer) Bidirectional 双向RNN包装器 Bidirectional(layer, merge_mode=’concat’, weights=None) model = Sequential() model.add(Bidirectional(LSTM(10, return_sequences=True), input_shape=(5, 10))) model.add(Bidirectional(LSTM(10))) model.add(Dense(5)) model.add(Activation(softmax)) pile(loss=categorical_crossentropy, optimizer=rmsprop) 2.3参数 说明 名称 作⽤ units RNN的单元数，也是输出维度 activation 激活函数，为预定义的激活函数名 dropout 0~1之间的浮点数，控制输⼊线性变换的神经元断开⽐例 recurrent_dropout 0~1之间的浮点数，控制循环状态的线性变换的神经元断开⽐例 return_sequences True返回整个序列,⽤于stack两个层，False返回输出序列的最后⼀个输出 go_backwards True