deep learning.docVIP

卷积神经网络学习报告 卷积神经网络是人工神经网络的一种，近年来广泛应用于模式识别、语音分析和图像识别领域。它具有结构简单、训练参数少和适应性强等特点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。本文从经典的反向传播BP神经网络开始介绍这几天的学习认识。 BP神经网络原理 基本BP算法包括两个方面：信号的前向传播和误差的反向传播。即计算实际输出时按从输入到输出的方向进行，而权值和阈值的修正从输出到输入的方向进行。 图一 BP神经网络结构图 图中：表示输入层第个节点的输入，j=1,…,M； 表示隐含层第i个节点到输入层第j个节点之间的权值； 表示隐含层第i个节点的阈值； 表示隐含层的激励函数； 表示输出层第个节点到隐含层第i个节点之间的权值，i=1,…,q； 表示输出层第k个节点的阈值,k=1,…,L； 表示输出层的激励函数； 表示输出层第个节点的输出。信号的前向传播过程 隐含层第i个节点的输入neti： （1） 隐含层第i个节点的输出yi： （2） 输出层第k个节点的输入netk： （3） 输出层第k个节点的输出ok： （4）误差的反向传播过程 误差的反向传播，即首先由输出层开始逐层计算各层神经元的输出误差，然后根据误差梯度下降法来调节各层的权值和阈值，使修改后的网络的最终输出能接近期望值。 对于每一个样本p的二次型误差准则函数为Ep： （5） 系统对P个训练样本的总误差准则函数为： （6） 根据误差梯度下降法依次修正输出层权值的修正量Δwki，输出层阈值的修正量Δak，隐含层权值的修正量Δwij，隐含层阈值的修正量。 ；；； （7） 输出层权值调整公式： （8） 输出层阈值调整公式： （9） 隐含层权值调整公式： （10） 隐含层阈值调整公式： （11） 又因为： （12） ，，， （13） （14） （15） （16） 所以最后得到以下公式： （17） （18） （19） （20） 图二 BP神经网络算法流程图 3、基本BP算法的缺陷 BP算法因其简单、易行、计算量小、并行性强等优点，目前是神经网络训练采用最多也是最成熟的训练算法之一。其算法的实质是求解误差函数的最小值问题，由于它采用非线性规划中的最速下降方法，按误差函数的负梯度方向修改权值，因而通常存在以下问题： 学习效率低，收敛速度慢 易陷入局部极小状态 卷积神经网络 BP网络每一层节点是一个线性的一维排列状态，层与层的网络节点之间是全连接的。如果BP网络中层与层之间的节点连接不再是全连接，而是局部连接的。这样，就是一种最简单的一维卷积网络。如果我们把上述这个思路扩展到二维，这就是我们在大多数参考资料上看到的卷积神经网络。 图三 全连接和局部连接神经网络 ?上图左：全连接网络。如果我们有1000x1000像素的图像，有1百万个隐层神经元，每个隐层神经元都连接图像的每一个像素点，就1000x1000x1000000=10^12个连接，也就是10^12个权值参数。 ?上图右：局部连接网络，每一个节点与上层节点同位置附件10x10的窗口相连接，则1百万个隐层神经元就只有100w乘以100，即10^8个参数。其权值连接个数比原来减少了四个数量级。根据BP网络信号前向传递过程，我们可以很容易计算网络节点的输出。例如，对于上图中被标注为红色节点的净输入，就等于所有与红线相连接的上一层神经元节点值与红色线表示的权值之积的累加。这样的计算过程，很多书上称其为卷积。卷积神经网络另外一个特性是权值共享。例如，就上面右边那幅图来说，权值共享，不是说，所有的红色线标注的连接权值相同。卷积神经元每一个隐层的单元提取图像局部特征，将其映射成一个平面，特征映射函数采用 sigmoid?函数作为卷积网