第1章：神经网络信息处理.docVIP

智能故信息处理技术 （The intelligent information process technology） 第1章 人工神经网络的基础知识 人类关于认知的探索由来已久。早在公元前400年左右，希腊哲学家柏拉图（Plato）和亚里士多德（Aristotle）等就曾对人类认知的性质和起源进行过思考，并发表了有关记忆和思维的论述。在当时及以后很长的一段时间内，由于科学技术发展水平所限，人们对人脑的认识主要停留在观察和猜测的基础之上，缺乏有关人脑内部及其工作原理的科学依据。直到20世纪40年代，随着神经解剖学、神经生理学以及神经元的电生理过程等研究取得突破性进展，人们对人脑的结构、组成及最基本工作单元有了越来越充分的认识，在此基本认识的基础上，借助数学和物理方法从信息处理的角度对人脑神经网络进行抽象，并建立简化的模型，称为人工神经网络ANN（Artificial Neural Network），为叙述方便，将人工神经网络直接称为神经网络（以下同）。Hecht Nielsen的观点，神经网络的定义是：神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算机系统，该系统靠其状态对外部输入信息的动态响应来处理信息。综合神经网络的来源、特点和各种解释，它可简单地表述为：人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统[1]。 作为一门活跃的边缘性交叉学科，神经网络的研究与应用正成为人工智能、认识科学、神经生理学、非线性动力学等相关专业的热点。近十几年来，针对神经网络的学术研究大量涌现，上百种神经网络模型被提出，其应用涉及模式识别、联想记忆、信号处理、自动控制、组合优化、故障诊断及计算机视觉等众多方面，取得了令人瞩目的进展。 1.1 人工神经网络发展的历史及现状 1.1.1 人工神经网络研究阶段的划分 纵观神经网络的发展历史，其发展过程大致可以概括为如下3个阶段。 1．第一阶段——启蒙时期 这是神经网络理论研究的奠基阶段。1943年，神经生物学家McCulloch W.S.和青年数学家Pitts W.A.合作，提出了第一个人工神经元模型，并在此基础上抽象出神经元的数理模型[2]，开创了人工神经网络的研究，以McCulloch W.S.和Pitts W.A.提出人工神经元的数理模型（即神经元的阈值模型，简称MP模型）为标志，神经网络拉开了研究的序幕。为了模拟起连接作用的突触的可塑性，神经生物学家Hebb于1949年提出了连接权值强化的Hebb法则[3]。这一法则告诉人们，神经元之间突触的联系强度是可变的，这种可变性是学习和记忆的基础。Hebb法则为构造有学习功能的神经网络模型奠定了基础。1952年英国生物学家Hodgkin和Huxley建立了著名的长枪乌贼巨大轴索非线性动力学微分方程，即H-H方程。这一方程可用来描述神经膜中所发生的非线性现象，如自激震荡、混沌及多重稳定性等问题，所以有重大的理论与应用价值。1954年，生物学家Eccles提出了真实突触的分流模型[4]，这一模型由于通过突触的电生理实验得到证实，因而为神经网络模拟突触的功能提供了原型和生理学的证据。1956年，Uttley发明了一种由处理单元组成的推理机，用以模拟行为及条件反射。20世纪70年代中期他把该推理机用于自适应模式识别，并认为该模型能反映实际神经系统工作原理。 1958年Rosenblatt在原有MP模型的基础上增加了学习机制[5]。他提出的感知器模型首次把神经网络理论付诸工程实现，他的成功之举大大激发了众多学者对神经网络的兴趣。Rosenblatt证明了两层感知器能够对输入进行分类，他还提出了带隐层处理元件的三层感知器这一重要的研究方向。Rosenblatt的神经网络模型包含了一些现代神经计算机的基本原理，从而形成神经网络方法和技术的重大突破。神经网络的研究迎来了第一次高潮期。 1960年，Widrow和Hoff提出了ADALINE网络模型[6]，这是一种连续取值的自适应线性神经元网络模型，可以用于自适应系统。他们针对输入为线性可分的问题进行了研究，得出期望响应与计算响应的误差可能搜索到全局最小值；在研究神经网络中会出现的回响现象时，意大利科学家Caianiello在神经元模型中引入了不应期特性；为了研究思维和大脑结合的理论问题，Grossberg从信息处理的角度，研究了自组织性、自稳定性和自调节规律?[7-8]；日本科学家Amari注重把生物神经网络的行为与严格的数学描述相结合，在数学求解研究上得到一定成果；Willshaw等人提出了一种称为全息音的模型[9]，为利用光学原理实现神经网络奠定了理论基础；Nilsson对多层机即有隐层的广义认知机作了精辟的论述等?[10]。上述成果足以表明神经网络研究已获得了广泛的成功。 2．第二