神经网络的优化学习.pptxVIP

第六章：神经网络的优化学习;可以说，神经网络的优化学习一直是神经网络研究热点 1943年, Warren McCulloch和Walter Pitts, 人工神经元模型 1949年, Donald O. Hebb, 联想式学习规则 1957年, Frank Rosenblatt等人, 感知器(Perceptron)及其学习规则 1960年, Bernard Widrow和Marcian Hoff, 自适应线性神经元，Widrow—Hoff学习算法 ;1969年, Marvin Minsky和Seymour Papert,《感知器》,神经网络研究陷入低潮。 直到80年代, 改进的(多层)感知器网络和学习规则, 唤起人们对神经网络研究的兴趣。;感知器是第一个完整的人工神经网络，具有联想记忆的功能，可以用于模式识别，并且在工程中得到实现。 当前，人们仍然认为感知器网络是一种重要的神经网络。因为，对于某些应用问题而言，感知器仍是一种快速可靠的求解方法。 对感知器网络行为的理解将会为理解更加复杂的神经网络奠定良好基础。;一、单神经元感知器 ;　　　　　　　　　　　　　　;若　　　，则;三输入单神经元感知器, 类别界限;输出向量;第 i 个神经元的类别界限;感知器主要用作模式分类，感知器的学习实质是通过改变输入向量与神经元的连接权值或神经元的阈值，使感知器具有能够正确区分目标数据的能力。 设有 P 组样本数据为： ;Frank Rosenblatt的贡献在于提出了训练神经网络用于解决模式识别问题的学习规则，并证明了只要求解问题的权值存在，那么其学习规则通常会收敛到正确的网络权值上。 整个学习过程较为简单，而且是自动的。只要把反映网络行为的样本数据对提交给网络，网络就能够根据样本数据从随机初始化的权值和偏置值开始自动地进行学习。 ;设有样本数据为： ;为了简化学习过程，取感知器的神经元没有阈值。;计算实际输出：首先将　送入： ;解决方法:是将　加到　 上，使得　 更加偏向于　。 ;计算 的实际输出 ;计算　的输出 ;若感知器能够正确工作，则保持权值向量不变。即：;定义一个新的误差变量 ;权值向量的第 i 行;多神经元感知器的学习;多层感知器;第q层的输出向量;多层感知器;;输出向量;净输入 ;LMS算法也是有监督学习算法，设有 　组样本数据;多输入的单神经元;定义误差;假设　正定，则 有且仅有一???强极小点;均方误差估计;6.2.2 LMS学习算法;具有固定的学习速度的最速下降算法;对多神经元网络，第 i 个神经元权值迭代公式;LMS迭代学习算法实质是如何调整　值，使得　趋向于　。;　　被　　　　　　 代替;;LMS学习算法非常重要: 1它是多层网络中BP算法的先驱; 2它被广泛使用于现在的信号处理应用中。;感知器学习规则和LMS学习算法，只能用来训练单层神经网络。单层神经网络故有的局限性就是只能解线性可分的分类问题。 Rosenblatt和Widrow提出了采用多层神经网络的解决方法，但没有找到训练多层神经网络合适的学习算法。 ;输入层: n个神经元, 线性函数作用函数。 隐含层: l个神经元，非线性作用函数。 输出层: m个神经元,非线性作用函数。;单层感知器或ADALINE网络: 解决线性可分的模式分类问题。 多层神经网络: 解决不是线性可分的模式分类问题，而且它能够逼近任意非线性函数。在控制领域中得到青睐，即可以反映出过程的动态特性（建模），也能够反映出期望输出与控制量间的对应关系（控制）。 ;多层神经网络的学习属于有监督学习，其学习过程由信息正向传播和误差反向传播两部分组成。;输入层：;若网络输出和期望输出不一致，则将其误差信号，从输出端反向传播，并在传播过程中对网络中各神经元之间的连接权值不断修正，使神经网络的输出趋向于期望输出值。;设有 Q 组样本数据;;① 输出层神经元权系数的调整;　　;误差反向传播和连接权的调整;输出层权系数的修正量;② 隐含层神经元权系数的调整;定义误差反向传播系数;误差反向传播和连接权的调整;隐含层权系数调整量;提供训练样本数据;④反向传播计算 ;计算神经网络输出与期望输出之间的偏差;BP学习算法存在的缺陷;收敛速度慢的原因 为避免权值过大，采用较小的学习速率，从而造成收敛速度慢。 收敛速度慢的解决办法 变化的学习速率或自适应的学习速率。;由于BP学习算法采用梯度下降法，它可以收敛到一个极小值，但并不能保证全局极小。 ;迭代公式;自适应学习速率 ;弹性BP学习算法;弹性BP学习算法;三种改进算法的存储量要求相差不大，各算法的收敛速度依次加快。其中，弹性BP算法的收敛速度远快于前两者。大量实际应用已证明弹性BP算法非常有效。