RBF神经网络概述指导.ppt

本课程前面的内容以知识为基础，通过符号推理，进行问题求解，通常把这些称为符号智能 本章是以数据为基础，通过训练建立联系，进行问题求解，一般称为计算智能 计算智能一般包括：人工神经网络、遗传算法、模糊系统、进化程序设计、人工生命等 Agenda 神经网络概述 感知机 前馈神经网络 Hopfield网络 随机神经网络 遗传算法 人工生命 神经网络概述（1） 什么是神经网络？ 个神经网络是一个由简单处理元构成的规模宏大的并行分布处理器，具有存储经验知识和使之可用的特性。 神经网络从两个方面上模拟大脑： 神经网络获取的知识是从外界环境中学习得来的。 内部神经元的连接强度，即突触权值，用于储存获取的知识。 学习算法是用于完成学习过程的程序，其功能是以有序的方式改变系统权值以获得想要的设计目标。突触权值的修改提供了神经网络的一种设计方法。 神经网络概述（2） 六个基本特征： 1）神经元及其联接； 2）神经元之间的联接强度决定信号传递的强弱； 3）神经元之间的联接强度是可以随训练改变的； 4）信号可以是起刺激作用的，也可以是起抑制作用的； 5）一个神经元接受的信号的累积效果决定该神经元的状态； 6) 每个神经元可以有一个“阈值” 神经网络概述（3） 非线性： 非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制两种不同的状态。这种行为在数学上表现为一种非线性。 非局域性： 一个神经网络通常由多个神经元广泛联接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互联接所决定。通过单元之间的大量联接模拟大脑的非局域性。 非定常性： 人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息有各种各样，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。 非凸性： 一个系统的演化方向，在一定条件下，将取决于某个特定的状态函数，如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。 神经网络概述（4） 发展史 1943年McCulloch（心理学家）和Pitts（数理逻辑学家）发表文章，提出M-P模型。描述了一个简单的人工神经元模型的活动是服从二值（兴奋和抑制）变化的。总结了神经元的基本生理特性，提出了神经元的数学描述和网络的结构方法。——标志神经计算时代的开始 输出表达式 MP模型的意义： M-P模型能完成一定的逻辑运算 第一个采用集体并行计算结构来描述人工神经元和网络工作。 为进一步的研究提供了依据 （可以完成布尔逻辑计算） 神经网络概述（5） 发展史 1949年Donala U.Hebb（心理学家）论著《The Organization of Behavior（行为自组织）》，提出突触联系强度可变的假设，认为学习的过程最终发生在神经元之间的突触部位，突触的联系强度随着突触前后神经元的活动而变化。 ——赫布规则 多用于自组织网络的学习。即：若两个神经元输出兴奋，则它们之间的连接权加强，反之减少。 赫布规则意义（提出了变化的概念） 提出了一个神经网络里信息是储藏在突触连接的权中 连接权的学习律是正比于两个被连接神经细胞的活动状态值的乘积 假设权是对称的 细胞的互相连接的结构是他们权的改变创造出来的 神经网络概述（6） 发展史 1957年Frank Rosenblatt定义了一个神经网络结构，称为感知器(Perceptron) 。 ?规则学习 意义：第一次把神经网络研究从纯理论的探讨推向工程实现，在IBM704计算机上进行了模拟，证明了该模型有能力通过调整权的学习达到正确分类的结果。掀起了神经网络研究高潮。 神经网络概述（7） 发展史 1969M.Minsky和S. Papert发表了《Perceptrons》的论著，指出感知器仅能解决一阶谓词逻辑，只能做线性划分。对于非线性或其他分类会遇到很大困难。一个简单的XOR问题的例子就证明了这一点。——神经网络研究一度达到低潮。原因还有：计算机不够发达、VLSI还没出现、而人工智能和专家系统正处于发展高潮。 神经网络概述（8） 发展史 1982年John J. Hopfield（物理学家）提出了全联接网络，离散的神经网络模型。——全新的具有完整理论基础的神经网络模型。基本思想是对于一个给定的神经网络，对于一个能量函数，这个能量函数是正比于每一个神经元的活动值和神经元之间的联接权。而活动值的改变算法是向能量函数减少的方向进行，一直达到一个极小值为止。证明了网络可达到稳定的离散和连续两种情况。３年后ATT等做出了半导体