神经网络计算智能网论.pptxVIP

智能计算导论第三章人工神经网络西安电子科技大学智能科学与技术系人工神经网络■ Artificial Neural Networks,简记作ANN■是对人类大脑系统的一阶特性的一种描述。 简单地讲，它是一个数学模型，可以用电子 线路来实现，也可以用计算机程序来模拟， 是人工智能研究的一种方法。^■1人工神经网络的别名■人工神经系统(ANS)■神经网络(NN)■自适应网(Adaptive Networks)■联接主义(Corniectionism)■神经计算机(Neurocomputer)人工神经网络的历史萌芽期（20世纪40年代）■人工神经网络的研究最早可以追溯到人类开始 研究自己的智能的时期。■ 1943年，心理学家McCulloch和数学家Pitts建立 了著名的阈值加权和模型，简称为M?P模型。发 表于数学生物物理学会刊《Bulletin of Methematical Biophysics》■ 1949年，心理学家D. O. Hebb提出神经元之间突 触联系是可变的假说一一Hebb学习律。人工神经网络的历史第一高潮期(1950~1968)■以Marvin Minsky, Frank Rosenblatt, Bernard Widrow等为代表人物，代表作是单级感知器 (Perceptron )。■可用电子线路模拟。■人们乐观地认为几乎已经找到了智能的关键。 许多部门都开始大批地投入此项研究，希望尽 快占领制高点。人工神经网络的历史反思期(1969~1982)■ M. L. Minsky和S. Papert,《Perceptron》, MIT Press, 1969年■ “异或”运算不可表示■二十世纪70年代和80年代早期的研究结果■认识规律：认识—实践—再认识人工神经网络的历史第二高潮期(1983~1990)1982年，J. Hopfield提出循环网络3建立ANN稳定性的判别依据3阐明了 ANN与动力学的关系3用非线性动力学的方法来研究ANN的特性皿指出信息被存放在网络中神经元的联接上人工神经网络的历史再认识与应用研究期（1991~）■存在应用面还不够宽、结果不够精确等问题■改进现有模型、算法，以提高网络的训练速度和运 行的准确度。■算法的集成■希望在理论上寻找新的突破，建立新的专用/通用模 型和算法■进一步对生物神经系统进行研究，不断地丰富对人 脑的认识。生物神经系统生物神经系统生物神经元即一个神经元的神经末梢与另一个冲经元的 树突相接触的交界面，位于神经元的神经末 梢尾端。?轴突及突触与其它许多神经元建立联系。?树突接收来自不同神经元的信息。?神经元之间的这种复杂联系就形成了相应 的神经网络。人工神经元模型输入-为传输函数总结对称饱和线性 函数1a =-----l + e~n/Satlins对数S型函数a = -l 〃 0a = n 0 n 1 a=\ n1XLogsig双曲正切S型 函数n -ne -en . -n e + eTansig正线性函数[g = 0 n0 [a = n n0HPoslin竞争函数a = 1 max(n) a = 0 其它cCompet传输函数作用的实例神经元的层简化模型输入S个神经元的层的1”1,2-??布挪w =的,1??.W2,2???? ? ?W2,R? ?? ?? ?WS,1WS,2…wS9Rp =PlP2..b =bi b2.a =tZja2.?_Pr_奴%a=f （Wp + 万）多层神经网络（3层）简化表示输入 第1层 第2层第3层a3-----------------153X1a1-------------------------1SXI” WlRX] ___S2X1SlXRS2XS]s^xs2?52X12f3S3X1SXlIbxSx 1b2? b3giS^xi输出层隐含层a^fXW^f^f^W^p+b1) +b2) +〃)多层神经网络讨论■多层网络的功能强于单层网络■网络结构的确定:3输入个数3输出个数B隐含神经元数3传输（节点）函数 關网络层数：2—3层3神经网络权值递归网络一构造块?延时模块（Delays）u(t)?(0a D?（o）?积分模块(Integrators)。（，）=加（7）血 +。（0）。(0)递归网络(Recurrent Network)初始条件递归层a(l) = satlins(Wa(O) +b) = satlins(\yp + b) a(2) = satlins(Wa(l) + b)■ ■ ■a(t+1 )=satlins(Wa(t)+b)递归神经网络简单讨论■反馈的作用■时间性■前向网络的特点是将神经元分层，每层