数学建模 教程讲义 人工神经网络问题探索课件.pptVIP

1、MP模型 2、感知器模型 3、感知器学习规则 4、感知器的MATLAB实现 5、感知器神经网络应用举例 6、线性神经网络;1、MP模型 MP模型是人工神经网络的研究历史中最早提出，也是最为简单的模型。常用的有三种模型： （1）标准MP模型;MP模型的工作原理 其中参数的含义是： wji表示：神经元i与神经元j之间的连接权 ui表示：神经元i的状态 vi表示：神经元i的输出值，亦表示i的一个输入 θi表示：神经元i的阀值;在MP模型中激励函数可以采用阀值型函数，亦可根据需要采用S型函数： 学习准则： 这种模型常常采用Hebb学习准则来调整神经元之间的连接权。 Δwij=αuivj 说明：兴奋性一致则加强，否则减弱！;（2）延时MP模型;延时MP模型的特点 神经元的状态满足0/1规律 神经元为多输入单输出处理单元 激活函数采用阀值型函数 所有神经元具有相同、恒定的工作节律 没有考虑时间整合作用和不应期 时延和权系数均为常数;（3）改进的MP模型 工作原理同上 输入输出关系为 k＝1，2，… 注：在改进MP模型中权系数是可变的 ;2、感知器模型 (1)单层感知器模型; 首先介绍单神经元感知器 先看一个例子： 如果我们需要设计一个自动化分类器，用于根据水果的外形、质地和重量三个特征自动对苹果和橘子分类。假设传送带上的传感器可以较为简单的区分三个特征： 外形：基本是圆的－1 否则－－1 质地：表面光滑的－1 否则－－1 重量：超过1磅 －1 否则－－1;我们设计一个神经网络解决 首先一个标准的橘子为：X1＝[1 ,－1,－1]T 一个标准的苹果为：X2＝[1 , 1,－1]T 我们设计一个单神经元三输入的感知器(如图);如果 w11=0 w21=1 w31=0 则V=hardlims(WX+θ)＝hardlims([-1 1]X+θ) 表明如果ui大于等于-b，感知器输出1 ui小于-b，感知器输出－1 如果我们希望苹果就输出1，橘子就输出－1，则取阀值θ＝0 我们对分类器进行测试; 输入是标准橘子时 v1=hardlims([0,1,0][1,-1,-1]T+0)＝-1(橘子) 输入是标准苹果时 v2=hardlims([0,1,0][1,1,-1]T+0)＝1(苹果) 当一个不是十分标准的橘子进入分类器又会得到什么结果呢？ 感知器输入向量 X＝[-1,-1,-1]T 网络的响应 v1=hardlims([0,1,0][-1,-1,-1]T+0)＝-1(橘子); 实际上在整个输入向量空间中，感知器将空间分为了两部分，任何输入向量只要更加接近苹果的标准向量，则划归苹果一类，反之亦然。; (2)多层感知器模型 单层感知器模型只能进行简单的线性分类，而对于其他较为复杂的分类模式则无法解决，为此可以在输入和输出层之间加上若干层神经元(称为隐含层)，即构成多层感知器模型。 需要加以说明的是：在多层感知器模型中，只允许调节一层网络连接权(一般考虑隐含层与输出层)，称之为学习层，而其他连接权为随机确定的固定值，称之为随机层。 可以证明，隐含层和隐含层神经元数足够多，多层感知器模型可以实现任意的模式分类（理论上）。; 多层感知器模型结构图 ;3、感知器学习规则 上述网络中的权值和阀值又怎么确定呢？下面介绍一种用于训练感知器网络的算法。 所谓学习规则就是修改神经网络的权值和阀值的方法和过程，学习规则的目的是为了训练网络来完成某些工作，现在有很多神经网络学习规则，大致可以分为三大类：有监督学习、无监督学习和竞争学习。 感知器学习是通过有监督学习过程来实现的。 ; 误差型学习规则 （1）网络初始化 （2）计算输入模式对应的实际输出和理想输出的误差δ （3）如果δ小于给定值，结束，否则转下一步 （4）更新权值（阀值可视为输入恒为1的特殊权值） Δwi(t+1)＝wi(t+1)-wi(t)=ηδxi 其中δ＝理想输出－实际输出 （5）返回第(2)步; 可以证明当前输入样本来自线性可分的模式时，上述学习算法在有限步同收敛，这时所得的权值能对所有样本正确分类，这一结论被称为感知器收敛定理。（收敛定理的证明略） 感知器神经网络的训练是样本重复输入，通过调整权值使