智能信息技术基础-3神经.pptVIP

神经网络信息处理Neural Networks Information Processing 封筠 Email：fengjun7171@ :6621/ User: Student.feng 08-03 Outline 一、引言 二、ANN基本原理 三、感知器 四、 BP神经网络 五、径向基函数神经网络（RBF） 六、反馈型神经网络（Hopfield） 七、模糊神经网络 八、ANN信息处理应用 一、引言 1、什么是人工神经网络? 2、人工神经网络研究的历史 3、目前国内外研究状况 4、人工神经网络特点 5、神经网络的研究范畴 1、什么是人工神经网络? 人工神经网络 (Artificial Neural Networks,ANN) 是指模拟人脑神经系统的结构和功能，运用大量的处理部件，由人工方式构造的网络系统。 神经网络理论突破了传统的、线性处理的数字电子计算机的局限，是一个非线性动力学系统，并以分布式存储和并行协同处理为特色，虽然单个神经元的结构和功能极其简单有限，但是大量的神经元构成的网络系统所实现的行为却是极其丰富多彩的。 2、人工神经网络研究的历史 1943年，美国心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型，即M-P模型。能完成有限的逻辑运算。 1949年，心理学家Hebb提出了改变神经元间连接强度的Hebb规则。 1957年，计算机科学家Rosenblatt用硬件完成了最早的神经网络模型，称之为感知器（Perceptron）用来模拟生物的感知和学习能力。 2、人工神经网络研究的历史 1962年，电机工程师Windrow和Hoff提出了自适应线性元件Adaline是一个连续取值的线性网络，在信号处理系统中用于抵消通讯中的回波和噪声，应用十分广泛。 2、人工神经网络研究的历史 原因： 1969年，人工智能之父Minskey和Papert发表了《Perceptron》一书指出了Perceptron无科学价值而言，连XOR逻辑分类都做不到，只能作线性划分。 Von.Neumann机的兴盛期，陶醉在成功的喜悦之中，掩盖了新型计算机的发展的必然。 2、人工神经网络研究的历史 但是仍然有不少有识之士不断努力： Boston大学的Grossberg和Carpenter提出了自适应共振理论ART网络。 芬兰的Heisinki大学的Kohonen提出了自组织映射网络。 日本的大坂大学的Fukushima提出了神经认知机网络模型。 日本东京大学的Amari对神经网络进行了数学理论的研究，为神经网络的研究奠定了理论基础。 2、人工神经网络研究的历史 原因： 20世纪70年代末期研究和试图模拟视听觉的人工智能专家遇到了挫折，人们习以为常的知识难以教给计算机。 计算机的科学家发现前面有不可逾越的鸿沟，线路微型的物理极限,人们思考Von.Neumann机到底还能走多远。 VLSI、脑科学、生物学、光学的进步为人工神经网络的发展打下了基础。 2、人工神经网络研究的历史 兴盛期的代表人物： 1982年，加州大学的物理学家Hopfield提出了Hopfield网络模型，并用电路实现。 1985年，Rumelhart提出了BP算法。 Hinton等人提出了Boltzman机模型。 1988年，蔡少堂提出了细胞神经网络模型 。 3、目前国内外研究状况 3、目前国内外研究状况 3、目前国内外研究状况 4、人工神经网络特点 信息的分布表示 运算的全局并行和局部操作 处理的非线性 非符号性和连续性 4、人工神经网络特点 4、人工神经网络特点 5、神经网络的研究范畴 5、神经网络的研究范畴 5、神经网络的研究范畴 5、神经网络的研究范畴 5、神经网络的研究范畴 到目前为止，已经发表了多达几十种的神经网络模型，它们具备不同的信息处理能力，典型的神经网络模型如表1.2所示。 5、神经网络的研究范畴 二、 ANN基本原理 1、生物神经网 2、人工神经元 3、人工神经网络的拓扑特性 4、人工神经网络的训练 1、生物神经网 1、生物神经网 2、人工神经元 2、人工神经元 人工神经元模拟生物神经元的一阶特性。 输入：X=（x1，x2，…，xn） 联接权：W=（w1，w2，…，wn）T 网络输入： net=∑xiwi 向量形式： net=XW 2、人工神经元 2、人工神经元 2、人工神经元 3、人工神经网络的拓扑特性 3、人工神经网络的拓扑特性 用正号（“+”，可省略）表示传送来的信号起刺激作用，它用于增加神经元的活跃度； 用负号（“-”）表示传送来的信号起抑制作用，它用于降低神经元的活跃度。 层次（又称为“级”）的划分，导致了神经元之间的三种不同的互连模式： 3、人工神经网络的拓扑特性 3