第十章神经网络模式识别简介.pptVIP

Made in CVPRLab of SDU 第十章 神经网络模式识别简介 主讲人：常发亮教授 10.0 引言 1 10.1 感知机 2 10.2 多层感知机 3 10.3 反向传播算法 4 10.4 径向基函数网络 3 10.5 说明 4 10.0 引言 1、人工神经网络结构： （1）示例 （2）神经元: 2、Hebb学习规则：如果神经元 接收来自另一个神经元 的输出，则当这两个 神经元同时兴奋时，从 到 的权值 就得到加强。 3、发展历程 （1）McCulloch-Pitts模型( McCulloch, Pitts 1943); （2）Hebb提出神经元学习准则(1949) （3）感知机(Rosenblatt1958); （4）Hopfield模型(1982) （5）多层感知机与反向传播算法(Rumelhart, Hinton 1986). 4、大规模并行、分布表达和计算 5、本质上可以理解为函数逼近 10.1 感知机 1、感知机(Perceptrons)模型 2、等价表示： 3、感知机的学习算法： （1）训练数据 （2）权重： （3）学习算法 ：是LMS算法 1初始化 2迭代 （4）学习算法收敛性：对线性可分的数据有下面的定理。 4、对应于线性判别函数 5、算法的问题：对线性不可分的数据，算法不收敛！ 6、一个解决方案：多层感知机，非线性分类器。 10.2 多层感知机 1、多层感知机(Multilayer Perceptrons)结构： 2、激活函数(activation function)： （1）符号函数（不可微）： （2）Sigmoid函数（可微）： 3、多层感知机的一致逼近性： （1）定理(Funahashi(1989), Hornik(1989), Stinchcombe White(1989), Hecht(1989))：具有一个隐含层的感知机，可以在闭区间上一致逼近任意连续函数。 （2）只要增加网络隐单元个数，就能提高逼近精度。因此，复杂的网络可以实现训练数据集上的零错误率分类器。 ??4、例: (XOR问题) （1）问题的提出以及重要性： 1956-1958年Rosenblatt提出感知机，是为了实现另一种形式（模拟） 的计算机。与数字计算机形成鲜明对照。 数字计算机是用逻辑门电路实现的。逻辑门电路的设计：AND, OR, NOT; 实际上，数字计算机的所有逻辑电路都是用XOR门实现的。 XOR是通用门(universal logic gate)：任何一个逻辑电路都可以 只用XOR门来实现（因为用XOR可以实现AND、OR、NOT）。而 AND, OR, NOT 都不是通用门。能否实现XOR关系到学习机的“学习” 能力，若连XOR都实现不了，更不用谈实现计算机。 （2）感知机不能解决XOR问题。 （3）两个隐单元的三层感知机解决XOR问题。 （4）多层感知机为什么能解决XOR问题？ XOR可以看作两类的分类学习问题：(0,0)、(1,1)是一类，(1,0)、(0,1) 是一类。学习一个连续函数 ，满足： MLPs具有一致逼近能力，因此可以学习这个函数，也就解决了XOR问题。 后面要讲到的RBF网络也是一致逼近子，也可以解决XOR问题。 （5）多层感知机把输入空间变换到由其隐层输出所张成的空间，然后在这个 空间中进行线性分类。 （6）与Bayes决策的关系：对两类问题[0，1]，采用最小均方误差训练时，多层感知机的输出是Bayes后验概率的估计。 10.3 反向传播算法 1、多层感知机的中间隐层不直接与外界连接，其误差无法估计。 2、反向传播算法 ??（1）从输入层经隐层逐层正向计算各单元的输出； ??（2）由输出误差逐层反向计算隐层各单元的误差，并用此误差修正前层的权值。 3、反向传播:Back-Propagation (BP) 4、符号： 5、最小平方误差(Least Square)准则 （1）平方误差： （2）最速下降法： 要用到所有的训练数据—批处理。 6、Least-Mean-Square (LMS)算法： 第t步只用当前误差 只用当前训练数据—串行处理 7、BP算法： 计算步骤：?? 初始值选择?? 前向计算：求出所有神经元的输出 反向计算各隐层的局部梯度：?? 更新网络权重： 准则的选用：通常用LMS： 稳定，计算量比LS小; LMS的最优解的数学期望收敛到LS的最优解。 收敛速度快。 10.4 径向基函数网络 1