期末汇报2018年.02.03.pptVIP

CNN And BP 6.总结 近年来CNN的局部连接、权值共享、池化操作及多层结构等优良特性使其受到了许多研究者的关注。CNN通过权重共享减少了需要训练的权值个数、降低了网络计算的复杂度；同时池化操作使得网络对输入的局部变换具有一定的不变性，如：平移不变性、位置不变性等，提升了网络的泛华能力；CNN将原始数据直接输入到网路中，年后隐性地从数据中进行特征学习，避免了手工提取特征，提取特征具有一定的合理性。 使用对梅尔滤波器组特征作为输入特征为一些技术的应用，是否可以利用CNN提取信号特征？在2012年，Abdel-Hamid等人第一次给出了实证，他们在TIMIT音素识别任务上将音素错误率从20.7%降到20.0%。（卷积神经网络作为语音特征提取，即CNN-HMM声学模型） RNN+LSTM And BPTT 1.循环神经网络（RNN）背景 1986年，Elman等人提出了用于处理序列数据的循环神经网络，循环神经网络可以扩展到更长的序列，大多数RNN可以处理可变长序列，RNN诞生解决了传统神经网络在处理序列信息方面的局限性。 1997年，Hochreiter和Schmidhuber提出了长短时记忆单元（Long Short-Time Memory， LSTM）用于解决标准RNN梯度消失问题，标准RNN结构限制了RNN的应用。 1998年，Williams和Zipser提出BPTT（Back Propagation Through Time）算法。 2005年，Graves成功将LSTM型RNN用于语音处理。 RNN+LSTM And BPTT 2.循环神经网络简介 循环神经网络是一类专门处理序列数据的神经网络，其结构如下图所示，循环神经网络最典型的特点就是神经元具有反馈机制，实现上下文信息传递，使得RNN具备处理序列数据的能力（有向环）。循环神经网络将一定长度的序列数据作为训练集，完成训练后，预测下一时刻的输出。 RNN+LSTM And BPTT 从RNN结构可以看出，不同于DNN，RNN是一个动态系统，更具有一般性。下面对RNN结构进行公式推导： 在任意时刻t，令xt是一个K*1的输入向量，ht是一个N*1的隐状态向量，yt是一个L*1的输出向量。 未激活时各个神经元的值为： 激活后RNN可描述为： 注：上一时间的输出同样可以用来更新状态向量，则“记忆细胞”可以表示为： （1） （2） （3） RNN+LSTM And BPTT 3.BPTT算法 首先，选取代价函数，采取真实输出yt和目标向量It在所有时间帧上的误差平方和： 采用梯度下降算法更新W： 为了方便计算梯度，定义误差项如下： （4） （5） （6） RNN+LSTM And BPTT 定义好时间t时刻的误差，然后可以求得t=T时刻的误差： 整个时间帧上的矩阵表示： 计算隐层t=T的误差项： 矩阵表示： 对于其他时间帧，计算误差： 矩阵表示 ： （7） （8） （9）） （10） （11） （12） RNN+LSTM And BPTT 但是对于输出节点和隐层节点误差项跟以往有所不同，如下所示： 矩阵表示： 循环神经网络的输出层权重更新： 矩阵表示： （13） （14） （15） （16） RNN+LSTM And BPTT 隐藏层权重更新： 矩阵表示： 输入层权重更新： 矩阵表示： 循环神经网络BPTT基于二次代价函数的推导完毕，还有基于似然函数为代价函数的推导方法见下。 （17） （18） （19） （20） RNN+LSTM And BPTT 类似于NN，使用交叉熵作为损失函数，如果有N个样本，损失函数可以写为： 则，分别求U（whx）,V（why）,W（whh）的梯度即可求得各自的更新值，如下所示