05神经网络原理及应用.ppt

第5章 人工神经网络原理及应用 人工神经网络概述 人工神经网络基础 前馈人工神经网络 5.1 概述 5.1.1 什么是人工神经网络 所谓人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处理系统（计算机）。 人是地球上具有最高智慧的动物，而人的指挥均来自大脑，人类靠大脑进行思考、联想、记忆和推理判断等，这些功能是任何被称为“电脑”的一般计算机所无法取代的。 长期以来，许多科学家一直致力于人脑内部结构和功能的探讨和研究，并试图建立模仿人类大脑的计算机，虽然到目前对大脑的内部工作机理还不甚完全清楚，但对其结构已有所了解。 5.1 概述 5.1.1 什么是人工神经网络 粗略地讲，大脑是由大量神经细胞或神经元组成的。 每个神经元可看作是一个小的处理单元，这些神经元按某种方式连接起来，形成大脑内部的生理神经元网络。 这种神经元网络中各神经元之间联结的强弱，按外部的激励信号做自适应变化，而每个神经元又随着所接收到的多个接收信号的综合大小而呈现兴奋或抑制状态。 现已明确大脑的学习过程就是神经元之间连接强度随外部激励信息做自适应变化的过程，而大脑处理信息的结果则由神经元的状态表现出来。 5.1 概述 5.1.1 什么是人工神经网络 由于我们建立的信息处理系统实际上是模仿生理神经网络，因此称它为人工神经网络。 需要指出，尽管人工神经网络是对大脑结构的模仿，但这种模仿目前还处于极低的水平。 5.1 概述 5.1.1 什么是人工神经网络 人工神经网络的两种操作过程 训练学习 训练时，把要教给神经网络的信息（外部输入）作为网络的输入和要求的输出，使网络按某种规则（称为训练算法）调节各处理单元间的连接权值，直至加上给定输入，网络就能产生给定输出为止。 这时，各连接权已调接好，网络的训练就完成了。 正常操作（回忆操作） 对训练好的网络输入一个信号，它就可以正确回忆出相应输出，得到识别结果。 5.1 概述 5.1 概述 1949年，心理学家Donala Hebb写了一本书：“The Organization of Behavior”。 在该书中，他强调了心理学和生理学间的联系和沟通，指出脑细胞间的通路每当通过参与某种活动时将被加强，这就是后来的Hebb学习规则。 目前有些神经网络模型仍然采用这种学习规则。 5.1 概述 5.1.2 人工神经网络的发展 第一次高潮期——感知器模型和人工神经网络 1957年，计算机专家Frank Rosenblatt开始从事感知器的研究，并制成硬件，通常被认为是最早的神经网络模型。 1959年，两位电机工程师Bernard Widrow和Marcian Haff开发出一种叫作自适应线性单元（ADALINE）的网络模型，并在他们的论文“Adaptive Switching Circuits”中描述了该模型和它的学习算法（ Widrow-Haff算法）。 该网络通过训练，可以成功用于抵消通信中的回波和噪声，也可用于天气预报，成为第一个用于实际问题的神经网络。 5.1 概述 5.1.2 人工神经网络的发展 第一次高潮期 —— 感知器模型和人工神经网络 1962年，Rosenblatt出版了一本书“The Principles of Neurodynamics”，详述了他的感知器模型。 该感知器具有输入层、输出层和中间层，通过实验可以模仿人的某些特性，并断言它可以学会任何它可以表示的功能。 在这一时期，由于感知器的某些进展和对神经网络的宣传，人们乐观地认为几乎已经找到了实现智能的关键，许多部门开始大批地投入此项研究，希望尽快占领制高点，形成了研究人工神经网络的第一次高潮。 由于当时对神经网络的乐观情绪的影响，人们夸大了神经网络的潜力（有人甚至担心制造机器人的人类会很快受到机器人的攻击）。 5.1 概述 5.1.2 人工神经网络的发展 反思期—神经网络的低潮 1969年，Marvin Minsky和Seymour Papert合著了一本书“Perception”，分析了当时的简单感知器，指出它有非常严重的局限性，甚至不能解决简单的“异或”问题，为Rosenblatt的感知器判了“死刑”。 此时，批评的声音高涨，导致了停止对人工神经网络研究所需的大量投资。 不少研究人员把注意力转向了人工智能，导致对人工神经网络的研究陷入低潮。 5.1 概述 5.1.2 人工神经网络的发展 反思期 —— 神经网络的低潮 虽然如此，二十世纪70年代到80年代早期，仍有一些坚信神经网络的人坚持他们的工作，为人工神经网络的复苏做准备。 神经生理学家James Anderson开发的盒中脑模型（Brain-State-in-a-Box，BSB）。 日本学者Kunihik Fukushima开发的用于视觉图形识别的认知器模型（Neocognitron）