人工神经网络.ppt-大学数学网.ppt

人工神经网络与神经网络优化算法 人工神经网络是近年来得到迅速发展的一个前沿课题。神经网络由于其大规模并行处理、容错性、自组织和自适应能力和联想功能强等特点，已成为解决很多问题的有力工具。首先对神经网络作简单介绍，然后介绍几种常用的神经网络，包括前向神经网络。 人工神经网络与神经网络优化算法 人工神经网络发展简史 最早的研究可以追溯到20世纪40年代。1943年，心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型。这一模型一般被简称M-P神经网络模型，至今仍在应用，可以说，人工神经网络的研究时代，就由此开始了。 1949年，心理学家Hebb提出神经系统的学习规则，为神经网络的学习算法奠定了基础。现在，这个规则被称为Hebb规则，许多人工神经网络的学习还遵循这一规则。 人工神经网络与神经网络优化算法 1957年，F.Rosenblatt提出“感知器”(Perceptron)模型，第一次把神经网络的研究从纯理论的探讨付诸工程实践，掀起了人工神经网络研究的第一次高潮。 20世纪60年代以后，数字计算机的发展达到全盛时期，人们误以为数字计算机可以解决人工智能、专家系统、模式识别问题，而放松了对“感知器”的研究。于是，从20世纪60年代末期起，人工神经网络的研究进入了低潮。 人工神经网络与神经网络优化算法 1982年，美国加州工学院物理学家Hopfield提出了离散的神经网络模型，标志着神经网络的研究又进入了一个新高潮。1984年，Hopfield又提出连续神经网络模型，开拓了计算机应用神经网络的新途径。 1986年，Rumelhart和Meclelland提出多层网络的误差反传(back propagation)学习算法，简称BP算法。BP算法是目前最为重要、应用最广的人工神经网络算法之一。 人工神经网络与神经网络优化算法 自20世纪80年代中期以来，世界上许多国家掀起了神经网络的研究热潮，可以说神经网络已成为国际上的一个研究热点。 生物神经网 1、构成 2、工作过程 生物神经网 3、六个基本特征： 1）神经元及其联接； 2）神经元之间的联接强度决定信号传递的强弱； 3）神经元之间的联接强度是可以随训练改变的； 4）信号可以是起刺激作用的，也可以是起抑制作用的； 5）一个神经元接受的信号的累积效果决定该神经元的状态； 6) 每个神经元可以有一个“阈值”。 人工神经元 神经元是构成神经网络的最基本单元（构件）。 人工神经元模型应该具有生物神经元的六个基本特性。 人工神经元的基本构成 人工神经元模拟生物神经元的一阶特性。 输入：X=（x1，x2，…，xn） 联接权：W=（w1，w2，…，wn）T 网络输入： net=∑xiwi 向量形式： net=XW 激活函数(Activation Function) 激活函数——执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活化函数： o=f（net） 1、线性函数（Liner Function） f（net）=k*net+c 2、非线性斜面函数(Ramp Function) γ if net≥θ f（net）= k*net if |net|θ -γ if net≤-θ ? γ0为一常数，被称为饱和值，为该神经元的最大输出。 2、非线性斜面函数（Ramp Function） 3、阈值函数（Threshold Function）阶跃函数 β if netθ f（net）= -γ if net≤ θ β、γ、θ均为非负实数，θ为阈值 二值形式： 1 if netθ f（net）= 0 if net≤ θ 双极形式： 1 if netθ f（net）= -1 if net≤ θ 3、阈值函数（Threshold Function）阶跃函数 β -γ θ o net 0 4、S形函数 压缩函数（Squashing Function）和逻辑斯特函数（Logistic Function）。 f（net）=a+b/(1+exp(-d*net)) a，b，d为常数。它的饱和值为a和a+b。 最简单形式为： f（net）= 1/(1+exp(-d*net)) 函数的饱和值为0和1。 4、S形函数 2.2.3 M-P模型 McCulloch—Pitts（M—P）模型，也称为处理单元（PE） 2.3 人工神经网络的拓扑特性 连接的拓扑表示 10.1 人工神经网络与神经网络优化算法 10.1.2 人工神经元模型与人工神经网络模型 人工神经元是一个多输入、单输出的非线性元件，如图10-1