ann中文.pptxVIP

发展史与人工神经网络有关的研究可以追溯到19世纪末或更早，但通常认为McCullch和Walter Pitts在20世纪40年代的工作是人工神经网络领域的开始。初始发展时期 (1940-1960)研究主流是仿生学结构主义, 其动机是要用硬件来模仿人脑的结构和功能.典型工作: Warren McCulloch and Walter Pitts: M-P模型Donald Hebb: Hebb learning rule (Hebb学习律)Frank Ronsenblatt: Perceptron(感知器)Bernald Widrow and Ted Hoff: adaptive linear neural networks(自适应线性神经网络), Widrow-Hoff learning rule(Widrow-Hoff学习律).低谷时期 (1960-1980)然而Rosenblatt和Widrow的网络都有同样的局限性. 这个问题随着下面这本书的出版而广为人知:M. Minsky and S. Papert, Perceptrons, Cambridge, MA: MIT Press, 1969Rosenblatt和Widow也清楚这些局限, 他们提出了新的网络. 但新网络更复杂, 针对旧网络提出的学习算法不再适应新网络的训练. 遗憾的是他们没能成功地改进学习算法. 许多研究者受到Minsky和Papert的影响, 相信继续研究神经网络是一条死路.当时没有功能强大的数字计算机来做实验也是制约神经网络领域研究的一个原因.这一阶段仍然有一些重要的工作:1972年, Teuvo Kohonen和James Anderson分别独立地提出了一种可以作为记忆器的新网络.Stephen Grossberg在自组织网络方面的研究也很活跃. 复兴时期 (1980以来)个人计算机和工作站越来越普及, 其功能越来越强大,. 而且提出了一些重要的新概念.John Hopfield: Hopfield network (1982)David Rumelhart和James McClelland (1986): Backpropagation algorithm(反传算法, BP算法). (还有其他几位研究者相互独立地发现了该算法)发表了成千上万的相关论文.Soft Computing(软计算)Artificial neural network(人工神经网络)Fuzzy systems(模糊系统)Evolution computing(进化算法)……应用1988年, DARPF Neural Network study 列出了神经网络的许多应用其中一个成功的商业应用是: 1984年, 自适应信道均衡器文献中提到的应用领域包括:航空, 汽车, 银行, 国防, 电子, 娱乐, 金融, 保险, 制造, 医药, 石油, 机器人技术, 通讯, 运输等等神经元(Neuron)神经元组成神经网络的基本信息处理单元. 输入: p1, p2, …, pRp = (p1, p2, …, pR)T权重: w1,1, w1,2, …, w1,RW = (w1,1, w1,2, …, w1,R)偏置: b激励函数: fn = w1,1p1 + w1,2p2 + … + w1,RpR + b,n = Wp + ba = f(n) = f(Wp + b)p* = (1, p1, p2, …, pR)T, W* = (b, w1,1, w1,2, …, w1,R) n = W*p*, a = f(n) = f(W*p*)激励函数函数名输入/输出关系 图标MATLAB 函数Hard Limita = 0, n 0a = 1, n =0hardlimSymmetrical Hard Limita = -1, n 0a = 1, n =0hardlimsLineara = npurelinSaturating Lineara = 0, n 0a = n, 0=n=1a = 1, n 1satlin函数名输入/输出关系 图标MATLAB 函数Symmetric Saturating Lineara = -1, n -1a = n, -1=n=1a = 1, n 1satlinsLog-Sigmoid 1 1 + e-nlogsigHyoerbolic Tangent Sigmoid en – e-n en + e-ntansigPositive Lineara = 0, n 0a = n, n = 0poslinCompetitivea = 1, neuron with max na = 0, all other neuronscompeta =a =Cw1,1 w1,2 … w