第7章人工神经网络.pptxVIP

第7章人工神经网络第1页/共38页 7.1 历史回顾（五个时期）萌芽期 从人类开始研究自身智能—1949年 来源于神经解剖学和神经生理学。 萌芽期两大标志 （1）1943年，心理学家McCulloch和数学家Pitts建立了阈值加权和模型，MP模型。 （2）1949年，心理学家D.O.Hebb提出神经元突触联系可变假说。 Hebb学习律是ANN学习训练算法起点（里程碑）。第2页/共38页 7.1 历史回顾（五个时期） 第一高潮期（1950—1968） 重要成果：单级感知机及电子线路模拟 代表人物： Marvin Minsky、Frank Rosenblatt、Bernard Widrow第3页/共38页 7.1 历史回顾（五个时期）反思期（1969—1982） 标志：1969年，MIT出版社发表《感知机》一书，无情否定。 反思期中曾有人提出了BP反传算法，但未受重视。第4页/共38页 7.1 历史回顾（五个时期） 第二高潮期（1982—90年代初） 标志：美国加州理工学院生物物理学家J. Hopfield于1982、1984年在美国科学院院刊上发表两篇重要论文。 代表作： （1）1982年，Hopfield提出循环网络，将Lyapunov函数引入人工神经网络。 （2）1984年，Hopfield研制出被称为Hopfield网的电路。 （3）1985年，美国加州圣地亚哥分校（UCSD）的并行处理小组（PDP）在Hopfield网络中引入随机机制。 （4）1986年，PDP小组的Rumehart等重新独立提出了BP算法。第5页/共38页 7.1 历史回顾（五个时期） 第二高潮期（1982—90年代初） 国内首届神经网络大会于1990年12月在北京举行。 90年，863高技术研究计划批准了ANN的三项课题，自然科学基金与国防科技预研基金也把NN列入选题指南。第6页/共38页 7.1 历史回顾（五个时期） 再认识与应用研究期 进入20世纪90年代后，发现还有很多问题，还无法对ANN工作机制严格解释。 目前研究： （1）开发现有模型应用，改造算法，提高速度和准确度。 （2）希望理论上的突破，建立新的专用/通用模型和算法。 （3）进一步对生物神经系统进行研究，不断丰富对人脑的认识。第7页/共38页 7.2 人工神经元生物神经元树突输入细胞体轴突突触输出等效模型第8页/共38页 7.2 人工神经元树突输入细胞体轴突突触输出神经元细胞体——生存（信息处理）树突——接收其它神经元信号，与其它神经末稍互联形成突触轴突——信息传输管道神经元状态兴奋，阈值约40mV，有输出抑制，无输出第9页/共38页 7.2 人工神经元激励函数为阈值函数情况激励函数为S函数情况第10页/共38页 7.2 人工神经元 f 函数的选取Sigmoid函数，双极，无限可微Sigmoid函数，单极，无限可微阈值函数第11页/共38页 7.2 人工神经元神经元的学习算法 Hebb学习规则基本思想：如果一神经元接收来自另一神经元的输出，则当这两个神经元同时兴奋时，其连接权值得到加强。第12页/共38页 7.3 感知器前馈神经网络有些文献不将输入层作为一层第13页/共38页 7.3 感知器感知器网络结构双层神经网络，只能解决线性可分问题。输出类别指示输入样本第14页/共38页 神经网络特点分布式存储信息，用神经网络间连接权值的分布来表示特定的信息，当局部网络受损，仍能恢复原来的信息。对信息的处理具有并行性。每个神经元都可以根据接收到的信息作独立的运算和处理，然后将结果传输出去，体现了并行处理的概念。对信息的处理具有自组织、自学习的特点。通过改变连接权值适应周围环境变化，称为神经元学习过程。第15页/共38页 7.4 反向传播算法（BP法） 一般为三层前馈神经网络 激励函数为Sigmoid函数基本思想：根据样本希望输出与实际输出之间的平方误差最小，利用梯度下降法，从输出层开始，逐层修正权系数。修正周期分两个阶段前向传播阶段反向传播阶段第16页/共38页 7.4 反向传播算法（BP法）3层前馈神经网络单个神经元节点前向传播阶段第17页/共38页 7.4 反向传播算法（BP法）反向传播阶段梯度下降法令误差函数最小第18页/共38页 7.4 反向传播算法（BP法）反向一层传播学习速率，搜索步长第19页/共38页 7.4 反向传播算法（BP法）反向二层传播某一隐层节点受所有输出层节点影响第20页/共38页 BP算法若干问题讨论 BP采用S函数，输出不宜设为1或0，可设为0.9或0.1。 权系数初始化 不应将初始值设为相同，否则在学习过程中始终不变，可设为随机值。 步长的选择