人工神经网络7 Lecture Notes on Pattern Recognition 研究生现代控制工程教案 人工智能控制 培训资料.pptVIP

ch5 Neuarl Networks JiaYing University Math department KK Huang Lecture Notes on Pattern Recognition Introduction 什么是人工神经网络? 所谓人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处理系统（计算机）。 人是地球上具有最高智慧的动物，而人的指挥均来自大脑，人类靠大脑进行思考、联想、记忆和推理判断等，这些功能是任何被称为“电脑”的一般计算机所无法取代的。 长期以来，许多科学家一直致力于人脑内部结构和功能的探讨和研究，并试图建立模仿人类大脑的计算机，虽然到目前对大脑的内部工作机理还不甚完全清楚，但对其结构已有所了解。 粗略地讲，大脑是由大量神经细胞或神经元组成的。 每个神经元可看作是一个小的处理单元，这些神经元按某种方式连接起来，形成大脑内部的生理神经元网络。 这种神经元网络中各神经元之间联结的强弱，按外部的激励信号做自适应变化，而每个神经元又随着所接收到的多个接收信号的综合大小而呈现兴奋或抑制状态。 现已明确大脑的学习过程就是神经元之间连接强度随外部激励信息做自适应变化的过程，而大脑处理信息的结果则由神经元的状态表现出来。 按美国神经网络学者Nielsen的定义 人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。 这些处理单元具有局部内存，可以完成局部操作，即它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。 每个处理单元有一个单一的输出联接，输出信号可以是任何需要的数学模型。 人工神经网络与一般计算机的区别 在一般的计算机中，处理器可取一条指令和该指令所需的数据，并执行该指令，最后将计算结果存入指定的存储单元中。 任何动作都按照确定的操作程序，以串行方式执行。 在人工神经网络中，操作既不是串行的，也不是预先确定的，它根本没有确定的存储器，而是由许多互连的简单处理单元组成。 每个处理单元的处理功能只是求其所有输入信号的加权和，当该和值超过某一阈值时，输出呈现兴奋状态（高电平），否则低于阈值时呈现抑制状态（低电平）。 人工神经网络当它达到某种平衡状态后，网络的整个状态就是所求的结果。 人工神经网络的发展 初始（萌发）期——人工神经网络的兴起 1943年，美国神经生理学家Warren Mcculloch和数学家Walter Pitts合写了一篇关于神经元如何工作的开拓性文章：“A Logical Calculus of Ideas Immanent in Nervous Acitivity”。该文指出，脑细胞的活动像断/通开关，这些细胞可以按各种方式相互结合，进行各种逻辑运算。 1949年，心理学家Donala Hebb写了一本书：“The Organization of Behavior”。在该书中，他强调了心理学和生理学间的联系和沟通，指出脑细胞间的思路每当通过参与某种活动时将被加强，这就是后来的Hebb学习规则。 到了二十世纪50年代，随着计算机的发展和软硬件的进步，有些神经系统功能的理论开始在计算机上进行模拟，拓宽了研究的路子。 IBM的研究室在Hebb工作的基础上，对神经网络的模型进行了软件模拟，虽然开始时失败了，但在使得模型像人那样适应环境的实验上取得了一定程度的成功。 1956年，一个人工智能研究项目（Dartmouth Summer）给人工智能领域，同时也给神经计算领域以巨大推动。 人们提出两条研究思路 采用高级人工智能方法，试图建立描述智能机功能的计算机程序； 根据低水平的大脑处理方式构成结构模型，以实现智能化。 这宣告了人工神经网络的诞生。 第一次高潮期 —感知器模型和人工神经网络 1957年，计算机专家Frank Rosenblatt开始从事感知器的研究，并制成硬件，通常被认为是最早的神经网络模型。 1959年，两位电机工程师Bernard Widrow和Marcian Haff开发出一种叫作自适应线性单元（ADALINE）的网络模型，并在他们的论文“Adaptive Switching Circuits”中描述了该模型和它的学习算法（ Widrow- Haff算法）。该网络通过训练，可以成功用于抵消通信中的回波和噪声，也可用于天气预报，成为第一个用于实际问题的神经网络。 1962年，Rosenblatt出版了一本书“The Principles of Neurodynamics”，详述了他的感知器模型。该感知器具有输入层、输出层和中间层，通过实验可以模仿人的某些特性，并断言它可以学会任何它可以表示的功能。 1967年，Stephen Grossberg通过对生理学的研究，开发了一种称作雪崩网的神经网络