人工神经网络基础[共54页].pptVIP

人工神经网络;人工神经网络概述 前向多层网络 自组织特征映射网络（SOFM）;一 人工神经网络发展 二 生物学基础 三 人工神经网络结构 四 神经网络基本学习算法 ;一 人工神经网络发展;1957年，F.Rosenblatt提出“感知器”(Perceptron) 模型，第一次把神经网络的研究从纯理论的探讨付诸工程实践，掀起了人工神经网络研究的第一次高潮。 1969年，人工智能学者专著《感知机》的发表，从数学上严格论证了简单的线性感知机不能解决“异或”（XOR）问题。同时也指出如果在感知器中引入隐含神经元，增加???经网络的层次，可以提高神经网络的处理能力，但是却无法给出相应的网络学习算法。于是，从20世纪60年代末期起，人工神经网络的研究进入了低潮。 ;1982年，美国加州工学院物理学家Hopfield提出了离散的神经网络模型，标志着神经网络的研究又进入了一个新高潮。1984年，Hopfield又提出连续神经网络模型，开拓了计算机应用神经网络的新途径。 1986年，Rumelhart和Meclelland提出多层网络的误差反传(back propagation)学习算法，简称BP算法。解决了多层前向神经网络的学习问题，证明了多层神经网络具有很强的学习能力，它可以完成许多学习任务，解决许多实际问题。 ;自20世纪80年代中期以来，世界上许多国家掀起了神经网络的研究热潮，可以说神经网络已成为国际上的一个研究热点。 ;神经网络研究的两大派： 主要包括:生物学家、物理学家和心理学家 研究目的：给出大脑活动的精细模型和描述。 主要包括:工程技术人员 主要目的：怎样利用神经网络的基本原理，来构造解决实际问题的算法，使得这些算法具有有趣的和有效的计算能力。 人工神经网络属于此类 ;人工神经网络概念： 人工神经网络： 就是把一个描述生物神经网络运行机理和工作过程的抽象和简化了的数学-物理模型，表达成为一个以其中的人工神经元为节点、以神经元之间的连接关系为路径权值的有向图，再用硬件或软件程序实现该有向图的运行，其稳态运行结果体现生物神经系统的某种特殊能力。;人工神经网络是近年来得到迅速发展的一个前沿课题。神经网络由于其大规模并行处理、容错性、自组织和自适应能力和联想功能强等特点，已成为解决很多问题的有力工具。;二 生物学基础;1、生物神经元;树突是树状的神经纤维接收网络，它将电信号传送到细胞体 细胞体对这些输入信号进行整合并进行阈值处理 轴突是单根长纤维，它把细胞体的输出信号导向其他神经元;生物学研究表明一些神经结构是与生俱来的，而其他部分则是在学习的过程中形成的。 在学习的过程中，可能会产生一些新的连接，也可能会使以前的一些连接消失。这个过程在生命早期最为显著。;2、突触的信息处理;3、信息传递功能与特点 ;三 人工神经网络结构; 1943，神经生理学家 McCulloch 和数学家 Pitts 基于早期神经元学说，归纳总结了生物神经元的基本特性，建立了具有逻辑演算功能的神经元模型以及这些人工神经元互联形成的人工神经网络，即所谓的 McCulloch-Pitts 模型。;MP模型：; 激活函数; f(x)是激活函数(Activation Function)，也称输出函数。MP神经元模型中的输出函数为阶跃函数： ;激活函数的基本作用 控制输入对输出的激活作用 对输入、输出进行函数转换 将可能无限域的输入变换成指定的有限范围内的输出 ;例：实现逻辑函数“与门”（AND gate）运算。 1 —真，0—假;例：实现逻辑函数“与门”（AND gate）运算。 1 —真，0—假;3、常见的神经元激活函数;1 对称型Sigmoid函数 ;2 非对称型Sigmoid函数;3 对称型阶跃函数;4 线性函数 ;5 高斯函数 ;6 双曲正切函数 ;众所周知，神经网络强大的计算功能是通过神经元的互连而达到的。根据神经元的拓扑结构形式不同，神经网络可分成以下两大类：;1 层次型神经网络;（2）层内有互联的前向神经网络 在前向神经网络中有的在同一层中的各神经元相互有连接,通过层内神经元的相互结合，可以实现同一层内神经元之间的横向抑制或兴奋机制，这样可以限制每层内能同时动作的神经元数，或者把每层内的神经元分为若干组，让每组作为一个整体来动作。 ;（3）有反馈的前向神经网络 在层次网络结构中，只在输出层到输入层存在反馈，即每一个输入节点都有可能接受来自外部的输入和来自输出神经元的反馈。这种模式可用来存储某种模式序列，如神经认知机即属于此类，也可以用于动态时间序列过程的神经网络建模。 ;2 互联型神经网络;2 互联型神经网络;2、神经网络的学习规则 联想式学习 — Hebb学习规则 误差纠正式学习——Delta (δ)学