第二章 感知器网络幻灯片.pptVIP

第二章感知器网络 2.1 标准M－P模型 1943年，Mc Culloch和Pitts发表了他们关于人工神经网络的第一个系统研究。1947年开发出用于模式识别的网络模型——感知器：M－P模型，即阈值加权和模型，单输出的感知器，它实质上就是一个典型的人工神经元。按照M－P模型的要求，该人工神经元的激励函数是阶跃函数。 2.2 简单感知器 感知器学习算法 感知器举例 线性不可分问题－多层感知器 感知器收敛定理 例2.1 采用单一感知器神经元解决一个简单的分类问题：将四个输入矢量分为两类，其中两个矢量对应的目标值为1，另两个矢量对应的目标值为0，即 输入矢量： X=[-0.5 –0.5 0.3 0.0; -0.5 0.5 -0.5 1.0] 目标分类矢量： D=[1.0 1.0 0.0 0.0] ? ? 训练结束后得到如图所示的分类结果，分类线将两类输入矢量分开，其相应的训练误差的变化如图所示。这说明经过4步训练后，就达到了误差指标的要求。 分类结果 误差变化曲线 讨论局限性 1）由于激励函数为阈值函数，输出矢量只能取0，1，所以仅可以解决简单的分类问题； 2）输入矢量线性可分时，学习在有限次数内收敛； 3）输入矢量的奇异性导致较慢的收敛。比如当输入/输出矢量分别为： P=[-0.5 –0.5 +0.3 –0.1 –80 -0.5 +0.5 –0.5 +1.0 100]; T=[1 1 0 0 1]; 时，必然导致训练的困难； 4）异或问题不可解。 2.3 自适应线性阈值单元Adalineadaptive linear neuron 自适应线性神经元Adaline是美国Stanford大学Widrow教授在1961年提出的一种连续时间线性网络。这种模型主要用于自适应系统等一些连续可调过程。 Widrow提出的自适应线性神经元模型实际上是一个连续时间线性阈值逻辑元件。神经元的输入信号矢量Xk＝{x0k, x1k, x2k, …, xnk}的各分量被权矢量Wk＝ [w0k, w1k, w2k, …, wnk}加权(w0k连接单位输入x0k来控制阈值电平)，得到模拟输出和二值输出，其模拟输出为： 二值输出为 线性神经元模型学习W-H学习算法（LMS） 训练步骤： （1）表达：计算训练的输出矢量Y=W*X+B，以及与期望输出之间的误差E=D-Y; （2）检查:将网络输出误差的平方和与期望误差相比较，如果其值小于期望误差，或训练已达到事先设定的最大训练次数，则停止训练；否则继续： （3）学习：采用W-H学习规则计算新的权值和偏差，并返回到（1）。 讨论 1）收敛性 修正的δ 学习规则，输入向量X(K)归一化 W(k+1)=W(k)+ηe(k)X(k)/||X(k)||2 ||X(k)||2 ＝∑x 2 i(k) e(k)=q(k)-XT(k)W(k) Δ E(k)= Δ[q(k)- XT(k)W(k)]= XT(k)ΔW(k) 代入 ΔW(k)＝－ηe(k) XT(k)X(k)/||X(k)||2 =－ηe(k) 即：e(k+1)-e(k)= －ηe(k) 当01-η1 e(k+1)-0 η∈(0,1) 实际取值范围η∈(0.1,1) 2) η可以取接近1的数。 3)2种改进学习算法 i) 收敛性结论同前 e(k+1)=(1- η)e(k) ii)高收敛阶算法  取f()不同形式，可以得到不同的收敛阶次 E(k+1)=ηe(k)e(k+1) E(k+1)= [ηe(k)]2 E(k+1)= [ηe(k)]3 注意问题 ：收敛区域不同 * 通常考虑某一神经元要受到其他神经元的作用，因而总是以n个神经元相互连接形成神元计算模型。一个神经元具备相应的输入和输出。但是神经元自身的状态，决定其输出的有无，即每一个神经元从其他n－1个神经元