模式识别第八章 人工神经网络.pptVIP

第八章 人工神经网络 主要内容 8.1 引言 人工神经网络(artificial neural network, ANN)：由大量神经元经广泛互联组成的非线性网络（功能模块，数学模型） 人工神经网络是模拟生物神经网络的工作机理、模仿人脑某些学习功能的一种计算结构。 自底向上的综合方法：基本单元→功能模块→系统 神经网络发展简介 第一阶段：开创 40年代初，美国McCulloch和Pitts从信息处理的角度，研究神经细胞行为的数学模型表达，提出了二值神经元模型。MP模型的提出开始了对神经网络的研究进程。 1949年心理学家Hebb提出著名的Hebb学习规则，即由神经元之间结合强度的改变来实现神经学习的方法。 1957年， F.Rosenblatt提出感知器。 1960年Bernand Widrow和 Marcian Hoff提出自适应线性元件网络。 神经网络发展简介 第二阶段：低潮 1969年M.Minsky和S.Parpert对感知器的悲观理论使神经网络研究陷入低谷。他们分析了若干种简单感知器，并总结说明：简单感知器只能完成线性分类，对非线性分类无能为力，加上他们在人工智能领域的威望，他们这种悲观理论对当时人工神经网络的发展来说负面影响很大；而另一方面，当时计算机技术的发展使得传统人工智能理论在基于Von Neumann计算机平台上的发展趋势非常乐观；同时人们对当时人工神经网络的训练没有得到一种普适的学习算法；这样，人工神经网络的发展转入缓慢发展的低潮期。 神经网络发展简介 第三阶段：复苏 1982年生物物理学家J.J.Hopfield提出Hopfield网络模型，并将其成功应用于NP完全性的著名旅行商问题。 1986年David E.和Rumelhart等的并行分布式处理(PDP)研究组完善了多层神经网络感知误差反向传播算法Error Back Propagation(简称BP算法，最早由Werbo于1974年提出)，特别是有效解决了网络权值在学习过程中自动调整的问题，人工神经网络的发展再次掀起研究高潮； 1987年6月21日在美国圣地亚哥召开了第一届国际人工神经网络学术会议，宣告国际神经网络协会成立。 神经网络的特点 自学习 自适应 并行处理 分布表达与计算 神经网络的应用 NN本质上可以理解为函数逼近，可以应用到众多领域： 优化计算 信号处理 智能控制 模式识别 机器视觉等 8.2 人工神经元 生物神经网络：Biological Neural Network（BNN） 神经元： neuron 神经元经突触传递信号给其他神经元（胞体或树突） 1011个神经元/人脑 104个连接/神经元 神经元基本工作机制： 状态：兴奋与抑制 互联，激励，处理，阈值 8.2 人工神经元 MP模型 MP模型属于一种阈值元件模型，是由美国McCulloch和Pitts提出的最早神经元模型之一。MP模型是大多数神经网络模型的基础。 8.3 神经网络的学习方法 神经网络的学习：从环境中获取知识并改进自身性能，主要指调节网络参数使网络达到某种度量，又称为网络的训练 学习方式： 监督学习 非监督学习 再励学习 学习规则(learning rule)： Hebb学习算法 误差纠正学习算法 竞争学习算法 监督学习 对训练样本集中的每一组输入能提供一组目标输出 网络根据目标输出与实际输出的误差信号来调节网络参数 非监督学习与再励学习 非监督学习：不存在教师，网络根据外部数据的统计规律来调节系统参数，以使网络输出能反映数据的某种特性 再励学习：外部环境对网络输出只给出评价信息而非正确答案，网络通过强化受奖励的动作来改善自身的性能 Hebb学习 Hebb规则假定:当两个细胞同时兴奋时，他们之间的连接强度应该增强。这条规则与“条件反射”学说一致，后来得到了神经细胞学说的证实。 几乎所有的神经网络学习算法可看成Hebb学习规则的变形。 Hebb学习规则： 误差纠正学习 对于输出层第k个神经元： 实际输出: ak(n) 目标输出: tk(n) 误差信号: ek(n) = tk(n) - ak(n) 目标函数：基于误差信号ek(n)的函数，如误差平方和判据(sum squared error, SSE)，或均方误差判据(mean squared error, MSE, 即SSE对所有样本的期望) 误差纠正学习 梯度下降法： 竞争学习 无监督学习方法 输出神经元之间有侧向抑制性连接，较强单元获胜并抑制其他单元，独处激活状态（Winner takes all, WTA） BP算法框图 径向基函数网络 径向基函数：radial basis function, RBF 只有一个隐层，隐层单元采用径向基函数。隐层把原始的非线性可分的特征空间变换到另一个空间（通常是