神经网络专题知识讲座.pptVIP

3.反向误差传播 比较预期输出和实际输出，计算输出层误差。 Tj——输出单元j的预期输出 将得到的误差从后向前传播，前一层单元j的误差通过和它连接的后一层所有单元k的误差计算得到。 4.网络权值与神经元偏置调整 可以一边后向传播误差，一边调整网络权重和神经元的阈值，也可以先计算得到所有神经元的误差，再统一调整网络权重和神经元阈值。 调整权重：从输入层与第一隐含层的连接权重开始，依次向后进行调整。 l——学习率，通常取0~1之间的常数。太大会导致学习慢，太小会导致算法在不适当的解之间振动。一般将学习率设为迭代次数t的倒数，即1/t。 4.网络权值与神经元偏置调整 调整偏置：对每个神经元j进行如下更新： l——学习率，通常取0~1之间的常数。太大会导致学习慢，太小会导致算法在不适当的解之间振动。一般将学习率设为迭代次数t的倒数，即1/t。 Company Logo 神经网络专题知识讲座 Contents 神经网络简介 1 神经网络的典型结构 2 神经网络的学习算法 3 BP神经网络 4 进化神经网络 5 神经网络的应用 6 2.1 神经网络简介 什么是神经网络？ 神经网络（Neural Network，NN）一般也称为人工神经网络（Artificial Neural Network，ANN），是科学家们在对生物的神经元、神经系统等生理学的研究取得了突破性进展以及对人脑的结构、组成和基本工作单元有了进一步认识的基础上，通过借助数学和物理的方法从信息处理的角度对人脑神经网络进行抽象后建立的简化模型。 2.1.1 基本原理 生物神经元基本结构示意图 2.1.1 基本原理 树突 细胞体 轴突 突触 生物神经元 人工神经元 类比关系 输入层 加权和 阈值函数 输出层 2.1.1 基本原理 模拟神经元的树突接收输入信号 输入层 加权和 阈值函数 输出层 模拟神经元的细胞体加工和处理信号 模拟神经元的轴突 控制信号的输出 模拟神经元的突触 对结果进行输出 人工神经元结构功能示意图 2.1.2 研究进展 1943年McCullonch和Pritts提出了M-P模型，该模型提出了神经元的数学描述和网络的结构方法，这标志着神经网络计算时代的开始。 1957年Rosenblatt定义一个称为感知器的神经网络结构，第一次把神经网络从纯理论的探讨推向了工程实现，掀起了神经网络研究的高潮。 Minsky和Papert在1969年发表论著《Perceptrons》指出感知器仅能解决一阶谓词逻辑，只能完成线性划分，对于非线性或者其他分类会遇到很多困难，就连简单的 XOR（异或）问题都解决不了。由此，神经网络的研究进入了反思期。 启蒙萌芽时期 1940s至1960s 低潮反思时期 1960s至1970s 2.1.2 研究进展 20世纪90年代中后期，神经网络研究进入了一个新的发展阶段，一方面已有理论在不断地深化和得到进一步推广，另一方面，新的理论和方法也在不断出现。 光学神经网络、混沌神经网络、模糊神经网络、进化神经网络等新模型陆续出现。 1982年Hopfield提出的全连接网络模型才使得人们对神经网络有了重新的认识,开辟了一条新的研究道路。1986年Rumelhart等人提出的反向传播算法，使Hopfield模型和多层前馈神经网络成为应用最广泛的神经网络模型之一。 复兴发展时期 1980s至1990s 新的发展时期 1990s中后期之后 2.1.2 研究进展 重要学术期刊 IEEE Transactions on Neural Networks IEEE Transactions on Systems, Man and Cybernetics Journal of Artificial Neural Networks Journal of Neural Systems Neural Networks Neural Computation Networks Computation in Neural Systems Machine Learning…… 2.1.2 研究进展 重要学术会议 International Joint Conference on Neural Networks IEEE International Conference on Systems, Man, and Cybernetics World Congress on Computational Intelligence 2.2 神经网络的典型结构 按网络的结构区分 前向网络 反馈网络 按学习方式区分 有教师（监督）学习网络 无教师（监督）学习网络 按网络的性能区分 连续型和离散型网络 随机型和确定型网络 2