遥感影像识别 第六章 神经网络在模式识别中的应用 Part Ⅰ.ppt

遥感影像识别 第六章 : 神经网络在模式识 别中的应用 Part Ⅰ 1. 主要内容 ? 概 论 ? 神经元与网络结构 ? 感知器模型 ? 反向传播网络模型 ? 遥感图像处理试验 1.1 神经网络的研究发展史 1.1.1 第一次神经网络研究高潮 ? 对大脑神经元的研究表明，当其处于兴奋状态时，输出侧 的轴突就会发出脉冲信号，每个神经元的树状突起与来自 其它神经元轴突的互相结合部 ( 此结合部称为 Synapse ，即 突触 ) 接收由轴突传来的信号。如果一神经元所接收到的 信号的总和超过了它本身的“阈值”，则该神经元就会处 于兴奋状态，并向它后续连接的神经元发出脉冲信号。 ? 1943 年， W ． S ． McCulloch 和 W ． Pitts 根据上述研 究发表了他们的神经元模型，通常称为 MP 模型。 ? 1949 年， D.O.Hebb 提出了神经元的学习法则，即 Hebb 法则。 ? 50 年代末， F ． Rosenblatt 基于上述原理提出了一种 模式识别机，即感知机 (Perceptron) 模型。 ? 感知机是现代神经计算的出发点。 Block 于 1962 年 用解析法证明了感知机的学习收敛定理。正是由于 这一定理的存在，才使得感知机的理论具有实际的 意义，并引发了 60 年代以感知机为代表的第一次神 经网络研究发展的高潮。 ? M ． Minsky 和 S.Papert 进一步发展了感知机的理论 ，他们把感知机定义为一种逻辑函数的学习机。 ? B ． Widraw 在稍后于感知机一些时候提出了 Adline 分类学习机。它在结构上与感知机相似，但在学 习法则上采用了最小二乘平均误差法。 ? 1961 年， E ． R ． Caianiello 提出了能实现记忆和识 别的神经网络模型，它由学习方程式和记忆方程 式两部分组成。 ? 遗憾的是感知机只能对线性可分离的模式进行正 确的分类。当输入模式是线性不可分离时，则无 论怎样调节突触的结合强度和阈值的大小也不可 能对输入进行正确的分类。 1.1.2 第二次神经网络研究高潮 ? 1982 年，美国物理学家 Hopfield 对神经网络的动态特 性进行了研究，提出了所谓 Hopfield 神经网络模型。 ? 以 Rumelhart 为 首 的 PDP(Parallel Distributed Processing) 并 行 分 布 处 理 研 究 集 团 对 联 结 机 制 (connectionist) 进行了研究。 ? T ． J ． Sejnowski 等人还研究了神经网络语音信息处 理装置。 ? 这些成功的研究对第二次神经网络研究高潮的形成 起了决定性的作用。 ? Hopfield 模型的动作原理是： 只要由神经元兴奋的算法和神经元之间的结合强度 所决定的神经网络的状态在适当给定的兴奋模式下 尚未达到稳定，那么该状态就会一直变化下去，直 到预先定义的一个必定减小的能量函数达到极小值 时，状态才达到稳定而不再变化。 ? 1985 年， Hopfield 和 D ． W ． Tank 用上述模型求解了 古典的旅行推销商问题 (Traveling Salesman Problem) ，简称 TSP 问题。 ? 1983 年， S ． E ． Farmann 和 Hiton 提出了波尔兹曼 机 BM(Boltzmann Machine) ，该神经网络模型中使 用了概率动作的神经元，把神经元的输出函数与 统计力学中的波尔兹曼分布联系起来。 ? 1985 年 ,W ． O ． Hillis 发 表 了 称 为 联 结 机 (connection) 的超级并行计算机。他把 65536 个 lbit 的微处理机排列成起立方体的互连形式，每个微 处理机还带有 4kbit 的存贮器。 ? 误差反向传播神经网络 BP(Error Back Propagation Neural Network) 是 1986 年由 Rumelhart 和 Hinton 提 出的。 1.1.3 存在的问题 ? 神经网络识别机的原型是感知机，而 BP 只是学习方法改进 了的感知机，所以把它当作识别机械时，可能存在着中间 层神经元的个数会很庞大、学习时间太长、结合系数的范 围太宽等严重缺点。 ? 当把 Hopfield 神经网络模型和波尔兹曼机用作最优解的求 解机时，还需要弄清楚该模型对具体的对象是否适用。当 把神经网络用于运动控制装置时，另一个重要的问题是如 何获得自组织的运动模式。 ? 综上所述，神经网络的研究虽然时有起伏，出现了研究的 高潮与低潮，但总的方向无疑还是正确的。 1.2 神经网络的研究概况 ? 神经网络的研究主要可分为以下三个方面： 1 ．大脑和神经系统的信