哈工大模式识别—多层神经网络.pptxVIP

哈工大模式识别—多层神经网络第1页/共44页 6.1多层感知器网络（MLP，Multilayer Perceptron）神经元模型f称为激活函数第2页/共44页 解决异或问题的多层感知器 输入层 隐含层 输出层第3页/共44页 多层感知器的分类原理隐含层实现对输入空间的非线性映射，输出层实现线性分类；非线性映射方式和线性判别函数可以同时学习。第4页/共44页 激活函数—阈值函数第5页/共44页 激活函数—线性函数第6页/共44页 激活函数—对数Sigmoid函数第7页/共44页 激活函数—双曲正切Sigmoid函数第8页/共44页 标准的三层感知器网络第9页/共44页 多层感知器网络的设计选定层数：通常采用三层网络，增加网络层数并不能提高网络的分类能力；输入层：输入层节点数为输入特征的维数d，映射函数采用线性函数；隐含层：隐含层节点数需要设定，一般来说，隐层节点数越多，网络的分类能力越强，映射函数一般采用Sigmoid函数；输出层：输出层节点数可以等于类别数c，也可以采用编码输出的方式，少于类别数c，输出函数可以采用线性函数或Sigmoid函数。第10页/共44页 三层网络的判别函数形式第k个输出层神经元的输出，其中d为特征维数，nH为隐层节点数。第11页/共44页 6.2 MLP的训练--误差反向传播算法（BP，Backpropagation algorithm）BP算法的实质是一个均方误差最小算法(LMS)符号定义：训练样本x，期望输出t=(t1,…, tc)，网络实际输出z=(z1,…, zc)，隐层输出y=(y1,…, ynH)，第k个神经元的净输出netk。目标函数：迭代公式：第12页/共44页 输出层第13页/共44页 隐含层第14页/共44页 隐含层第15页/共44页 迭代公式输出层：隐含层：第16页/共44页 误差反向传播第17页/共44页 BP算法—批量修改begin initialize nH，w，θ，η，r?0 do r?r+1 m?0;Δwji?0;Δwkj?0 do m?m+1 xm?select pattern Δwji?Δwji+ηδjxi;Δwkj?Δwkj+ηδkyj until m = n wji? wji+Δwji; wkj? wkj+Δwkj until ||▽J(w)||θ return wend第18页/共44页 BP算法的一些实用技术激活函数的选择：一般可以选择双曲型的Sigmoid函数；目标值：期望输出一般选择(-1,+1)或(0,1)；规格化：训练样本每个特征一般要规格化为0均值和标准差；权值初始化：期望每个神经元的-1net+1，因此权值一般初始化为 ；学习率的选择：太大容易发散，太小则收敛较慢；冲量项：有助于提高收敛速度。第19页/共44页 6.3 多层感知器网络存在的问题BP算法的收敛速度一般来说比较慢；第20页/共44页 多层感知器网络存在的问题BP算法只能收敛于局部最优解，不能保证收敛于全局最优解；第21页/共44页 多层感知器网络存在的问题当隐层元的数量足够多时，网络对训练样本的识别率很高，但对测试样本的识别率有可能很差，即网络的推广能力有可能较差。第22页/共44页 多层感知器网络存在的问题第23页/共44页 6.4 提高收敛速度的方法一个比较直观的想法是通过增大学习率来提高收敛速度，但这样有可能造成算法发散。第24页/共44页 梯度下降法目标函数的一阶泰勒级数展开：目标函数增量：使目标函数下降最大：第25页/共44页 牛顿法目标函数的二阶泰勒级数展开：H是Hessian矩阵，求取目标函数增量的极大值：第26页/共44页 Quickprop算法分别对每个参数进行优化，权值增量由上一步的增量迭代计算：第27页/共44页 共轭梯度法满足如下条件的两个方向α和β称为关于矩阵H互为共轭方向：对于二次优化函数，权值沿着任意一个初始方向移动到最小点，然后再沿着该方向关于H的共轭方向移动到最小点即可达到全局最小点。第28页/共44页 共轭梯度法在第一个梯度方向上移动，寻找到这个方向上的局部极小点；在共轭方向上计算第二个搜索方向：如算法未收敛，则继续在共轭方向上计算下一个搜索方向。第29页/共44页 Levenberg-Marquardt算法定义：权值增量：其中I为单位矩阵，μk为参数，J为Jacobi矩阵：第30页/共44页 6.4 寻找全局最优点全局最优点的搜索一般采用随机方法：模拟退火算法模拟进化计算 – 遗传算法第31页/共44页 模拟退火思想模拟退火算法是由Kirkpa