神經网络基本理论d.pptVIP

神经网络基本理论;模糊控制从人的经验出发，解决了智能控制中人类语言的描述和推理问题，尤其是一些不确定性语言的描述和推理问题，从而在机器模拟人脑的感知、推理等智能行为方面迈出了重大的一步。模糊控制在处理数值数据、自学习能力等方面还远没有达到人脑的境界。 人工神经网络从另一个角度出发，即从人恼的生理学和心理学着手，通过人工模拟人脑的工作机理来实现机器的部分智能行为。 ;神经网络简介;神经网络的发展历程经过4个阶段。 1 启蒙期（1890-1969年） 1890年，W.James发表专著《心理学》，讨论了脑的结构和功能。 1943年，心理学家W.S.McCulloch和数学家W.Pitts提出了描述脑神经细胞动作的数学模型，即M-P模型（第一个神经网络模型）。 1949年，心理学家Hebb实现了对脑细胞之间相互影响的数学描述，从心理学的角度提出了至今仍对神经网络理论有着重要影响的Hebb学习法则。 1958年，E.Rosenblatt提出了描述信息在人脑中贮存和记忆的数学模型，即著名的感知机模型（Perceptron）。 1962年，Widrow和Hoff提出了自适应线性神经网络，即Adaline网络，并提出了网络学习新知识的方法，即Widrow和Hoff学习规则（即δ学习规则），并用电路进行了硬件设计。 ;2 低潮期（1969-1982） 受当时神经网络理论研究水平的限制及冯·诺依曼式计算机发展的冲击等因素的影响，神经网络的研究陷入低谷。 在美、日等国有少数学者继续着神经网络模型和学习算法的研究，提出了许多有意义的理论和方法。例如，1969年，S.Groisberg和A.Carpentet提出了至今为止最复杂的ART网络，该网络可以对任意复杂的二维模式进行自组织、自稳定和大规模并行处理。1972年，Kohonen提出了自组织映射的SOM模型。 ;神经网络简介;神经网络简介;神经网络简介;神经网络简介;神经网络简介;神经网络简介;神经网络简介;人工神经元模型;人工神经元模型;人工神经元模型; 人工神经元模型;神经网络的定义和特点 ;感知器(Perceptron)是由美国学者F.Rosenblatt于1957年提出的，它是一个具有单层计算单元的神经网络，并由线性阈值元件组成。;感知器模型;感知器模型;神经网络的构成和分类;神经网络的构成和分类;神经网络的构成和分类;神经网络的构成和分类;目前神经网络模型的种类相当丰富，已有近40余种神经网络模型。 典型的神经网络有多层前向传播网络 （BP网络）、Hopfield网络、CMAC小脑模型、ART网络、BAM双向联想记忆网络、SOM自组织网络、Blotzman机网络和Madaline网络等。 ; 神经网络学习算法是神经网络智能特性的重要标志，神经网络通过学习算法，实现了自适应、自组织和自学习的能力。 目前神经网络的学习算法有多种，按有无导师分类，可分为有教师学习（Supervised Learning）、无教师学习（Unsupervised Learning）和再励学习（Reinforcement Learning）等几大类。; 在有教师的学习方式中，网络的输出和期望的输出（即教师信号）进行比较，然后根据两者之间的差异调整网络的权值，最终使差异变小。 在无教师的学习方式中，输入模式进入网络后，网络按照一预先设定的规则（如竞争规则）自动调整权值，使网络最终具有模式分类等功能。 再励学习是介于上述两者之间的一种学习方式。;图 有导师指导的神经网络学习;图 无导师指导的神经网络学习; 最基本的神经网络学习算法： 1、 Hebb学习规则 Hebb学习规则是一种联想式学习算法。生物学家D.O.Hebbian基于对生物学和心理学的研究，认为两个神经元同时处于激发状态时，它们之间的连接强度将得到加强，这一论述的数学描述被称为Hebb学习规则，即;其中， 为连接从神经元 到神经元 的当前权值， 和 为神经元的激活水平。 Hebb学习规则是一种无教师的学习方法，它只根据神经元连接间的激活水平改变权值，因此，这种方法又称为相关学习或并联学习。;2 Delta（δ）学习规则 假设误差准则函数为： 其中， 代表期望的输出（教师信号）； 为网络的实际输出， ； 为网络所有权值组成的向量： 为输入模式：;;其中;;2 神经网络要素 决定神经网络模型性能的三大要素为： （1）神经元（信息处理单元）的特性； （2）神经元之间相互连接的形式—拓扑结构； （3）为适应环境而改善性能的学习规则。 ;神经网络控制的研究领域 ;(2) 神经网络控制