华中科技大学人工智能神经网络概论.pptVIP

;计算智能;什么是计算智能 ;1960年威德罗和霍夫率先把神经网络用于自动控制研究。 60年代末期至80年代中期，神经网络控制与整个神经网络研究一样，处于低潮。 80年代后期以来，随着人工神经网络研究的复苏和发展，对神经网络控制的研究也十分活跃。这方面的研究进展主要在神经网络自适应控制和模糊神经网络控制及其在机器人控制中的应用上。;ANN的发展史;20世纪50年代 , 第一次高潮;20世纪60年代,低潮;;20世纪80年代 第二次高潮Reasons: 1）Neumann数字计算机取得的巨大成功，从而推动以此为基础的AI 应用技术的同步发展 2）ANN有新成果、脑科学、神经科学 VLSI、光电技术的发展;J.J.Hopfield 1982年 Hopfield网络模型：网络能量数据、网络稳定性判据 1984年 HNN用电子线路实现 HNN用途：联想记忆、优化计算机的新途径 1984年 Hilton 引入模拟退火法，提出Boltzmann机网络 1986年 Rumelhart提出EBP学习算法，解决了MLP隐含层 weights 学习问题（error Back-Propagation）;1987年 Nielson提出了对向传播（Counter Propagation）神经网络 1988年 L.O.Chua提出细胞神经网络（CNN）模型 自1958年来已有近40种NN model ;NN研究学术机构;理论研究;应用研究;生理神经元的结构　　大多数神经元由一个细胞体(cell body或soma)和突(process)两部分组成。突分两类， 即轴突(axon)和树突(dendrite)，如图所示。轴突是个突出部分，长度可达1m，把本神经元的输出发送至其它相连接的神经元。树突也是突出部分，但一般较短，且分枝很多，与其它神经元的轴突相连，以接收来自其它神经元的生物信号。 ;轴突和树突共同作用，实现了神经元间的信息传递。轴突的末端与树突进行信号传递的界面称为突触(synapse)，通过突触向其它神经元发送信息。对某些突触的刺激促使神经元触发(fire)。只有神经元所有输入的总效应达到阈值电平，它才能开始工作。无论什么时候达到阈值电平，神经元就产生一个全强度的输出窄脉冲，从细胞体经轴突进入轴突分枝。这时的神经元就称为被触发。;脑神经生理学研究结果表明，每个人脑大约含有1011-1012个神经元，每一神经元又约有103-104个突触。神经元通过突触形成的网络，传递神经元间的兴奋与抑制。大脑的全部神经元构成极其复杂的拓扑网络群体，用于实现记忆与思维。 ;人工神经元的组成 　　人工神经网络(artificial neural nets,ANN)或模拟神经网络是由模拟神经元组成的，可把ANN看成是以处理单元PE(processing element)为节点，用加权有向弧(链)相互连接而成的有向图。其中，处理单元是对生理神经元的模拟，而有向弧则是轴突-突触-树突对的模拟。有向弧的权值表示两处理单元间相互作用的强弱。　;图中，来自其它神经元的输入乘以权值，然后相加。把所有总和与阈值电平比较。当总和高于阈值时，其输出为1；否则，输出为0。大的正权对应于强的兴奋，小的负权对应于弱的抑制。 在简单的人工神经网模型中，用权和乘法器模拟突触特性，用加法器模拟树突的互联作用，而且与阈值比较来模拟细胞体内电化学作用产生的开关特性。 ;人工神经网络的结构; 图中的神经元单元由多个输入xi，i=1,2,...,n和一个输出y组成。中间状态由输入信号的权和表示，而输出为 ;输出变换函数的基本作用;(a);人工神经网络的基本特性和结构;递归（反馈）网络:在递归网络中，多个神经元互连以组织一个互连神经网络。;前馈网络:前馈网络具有递阶分层结构，由同层神经元间不存在互连的层级组成。;前馈网络特点;互联网络;基于神经网络的知识表示与推理 ;基于神经网络的知识表示与推理;基于神经网络的知识表示与推理;基于神经网络的知识表示与推理;基于神经网络的知识表示与推理;基于神经网络的知识表示与推理;基于神经网络的知识表示与推理;基于神经网络的推理 ;人工神经网络的主要学习算法;;感知机;感知机的几何表示;Rosenblatt感知机算法;示例;示例（第一轮）;示例（第二轮）;示例（第三轮）;示例（第四轮）;示例（第五轮）;;基于反向传播网络的学习;1.反向传播网络的结构 鲁梅尔哈特(Rumelhart)和麦克莱兰(Meclelland)于1985年发展了BP网络学习算法，实现了明斯基的多层网络设想。BP网络不仅含有输入节点和输出节点，而且含有一层或多层隐(层)节点，如图所示。输入信号先向前传递到隐节点，经过