第6章 多层神经网络.pptVIP

第六章 多层神经网络 6.1多层感知器网络（MLP，Multilayer Perceptron） 神经元模型 解决异或问题的多层感知器 多层感知器的分类原理 隐含层实现对输入空间的非线性映射，输出层实现线性分类； 非线性映射方式和线性判别函数可以同时学习。 激活函数—阈值函数 激活函数—线性函数 激活函数—对数Sigmoid函数 激活函数—双曲正切Sigmoid函数 标准的三层感知器网络 多层感知器网络的设计 选定层数：通常采用三层网络，增加网络层数并不能提高网络的分类能力； 输入层：输入层节点数为输入特征的维数d，映射函数采用线性函数； 隐含层：隐含层节点数需要设定，一般来说，隐层节点数越多，网络的分类能力越强，映射函数一般采用Sigmoid函数； 输出层：输出层节点数可以等于类别数c，也可以采用编码输出的方式，少于类别数c，输出函数可以采用线性函数或Sigmoid函数。 三层网络的判别函数形式 6.2 MLP的训练--误差反向传播算法（BP，Backpropagation algorithm） BP算法的实质是一个均方误差最小算法(LMS) 符号定义：训练样本x，期望输出t=(t1,…, tc)，网络实际输出z=(z1,…, zc)，隐层输出y=(y1,…, ynH)，第k个神经元的净输出netk。 目标函数： 输出层 隐含层 隐含层 迭代公式 输出层： 隐含层： 误差反向传播 BP算法—批量修改 begin initialize nH，w，θ，η，r?0 do r?r+1 m?0;Δwji?0;Δwkj?0 do m?m+1 xm?select pattern Δwji?Δwji+ηδjxi;Δwkj?Δwkj+ηδkyj until m = n wji? wji+Δwji; wkj? wkj+Δwkj until ||▽J(w)||θ return w end BP算法的一些实用技术 激活函数的选择：一般可以选择双曲型的Sigmoid函数； 目标值：期望输出一般选择(-1,+1)或(0,1)； 规格化：训练样本每个特征一般要规格化为0均值和标准差； 权值初始化：期望每个神经元的-1net+1，因此权值一般初始化为 ； 学习率的选择：太大容易发散，太小则收敛较慢； 冲量项：有助于提高收敛速度。 6.3 多层感知器网络存在的问题 BP算法的收敛速度一般来说比较慢； 多层感知器网络存在的问题 BP算法只能收敛于局部最优解，不能保证收敛于全局最优解； 多层感知器网络存在的问题 当隐层元的数量足够多时，网络对训练样本的识别率很高，但对测试样本的识别率有可能很差，即网络的推广能力有可能较差。 多层感知器网络存在的问题 6.4 提高收敛速度的方法 一个比较直观的想法是通过增大学习率来提高收敛速度，但这样有可能造成算法发散。 梯度下降法 目标函数的一阶泰勒级数展开： 牛顿法 目标函数的二阶泰勒级数展开： Quickprop算法 分别对每个参数进行优化，权值增量由上一步的增量迭代计算： 共轭梯度法 满足如下条件的两个方向α和β称为关于矩阵H互为共轭方向： 共轭梯度法 在第一个梯度方向上移动，寻找到这个方向上的局部极小点； 在共轭方向上计算第二个搜索方向： Levenberg-Marquardt算法 定义： 6.4 寻找全局最优点 全局最优点的搜索一般采用随机方法： 模拟退火算法 模拟进化计算 – 遗传算法 模拟退火思想 模拟退火算法是由Kirkpatrick于1983年提出的，它的基本思想是将优化问题与统计热力学中的热平衡问题进行类比； 固体在降温退火过程中，处于能量状态E的概率P(E)服从Boltzmann分布： 波尔兹曼分布 模拟退火算法（SA, Simulated Annealing） 模拟退火算法可以用来优化能量函数E(w)，其中w为参数； 首先设定一个较高的温度T(1)，随机初始化参数w1，计算能量E(w1)； 对参数给予一个随机扰动△w，w2 = w1 + △w，计算能量E(w2)； 如果E(w2) E(w1)，则接受改变，否则按照如下概率接受改变： 逐渐降低温度T(k)，直到0为止。 模拟退火算法应用于MLP的训练 初始化温度T(0)，t?0，随机初始化权值w0； 应用BP算法搜索局部最优解w(t)，计算局部最优解目标函数值E(t)； 随机修正权值w’(t) = w(t) + △w，计算修正后的目标函数值E’(t)； 若E’(t) E(t)，则确认修改，w(t)=w’(t)，E(t)=E’(t)； 否则依据概率P = exp(-E’(t)/T(t))