计算智能课件 神经网络.ppt

人工神经网络 内容提要 神经网络模型的基本组成 神经网络的分类及典型的神经网络模型 神经网络结构及神经计算特点 神经计算的稳定性 神经网络研究历史 神经网络的应用领域 神经网络模型的基本组成- 神经元 生物神经元的基本组 细胞体 突起 树突 轴突 人工神经元的基本结构 处理单元 连接 输入 输出 神经元的基本功能（1） 神经元的基本功能（2） 处理输入 活跃状态（活跃值） 活跃值 活跃函数（活跃规则） 把某一处理单元的各类净输入相互结合起来，再与该处理单元当前活跃状态相结合，以产生一个新的活跃状态的规则。 活跃函数类型 恒等函数 阈值函数 S型单调函数 神经元的基本功能（3） 网络 学习规则 学习规则 学习规则 学习规则 环境 神经网络模型完整描述的六个要素 传播规则 活跃规则 输出规则 互连模式 学习规则 环境 典型的神经网络模型 – 分类原则 按神经网络模型的拓扑结构可以分为反馈神经网络模型和前向神经网络模型。 按神经网络模型的性能可分为连续型与离散型神经网络模型，确定型与随机型神经网络模型。 按学习方式可以分为有教师学习神经网模型和无教师学习神经网络模型。 按连接突触性质可以分为一阶线性关联神经网络模型和高阶非线性关联神经网络模型。 典型的神经网络模型 自适应谐振理论（ART） 该模型主要包括ART1、ART2和ART3，它们可以对任意多和任意复杂的二维模式进行自组织、自稳定和大规模并行处理。 ART1主要用于二值输入，ART2和ART3主要用于连续信号输入。该类模型主要用于模式识别（如雷达、声纳的信号识别）。 缺点是对转换、失真及规模的变化较为敏感。 典型的神经网络模型 双向相联存储器（BAM ） 该类神经网络模型是由许多相同神经元构成的双向联想式两层网络。 主要用作按内容寻址的相联存储。 缺点是存储容量小而且需很好地进行编码。 感知机（Perceptron） 该类神经网络是一组可训练的线性分类单层网络模型，目前较少应用。 主要用于打印字符识别。 缺点是不能识别复杂字符（汉字），而且对大小、平移和变形很敏感。 典型的神经网络模型 反传神经网络模型（BP） 该类神经网络模型是一多层映射神经网络。采用的是最小均方差的学习方式，是目前使用最广泛的神经网络模型之一。 主要用于语言综合、语言识别、自适应控制等。 缺点是它仅仅是有监督的一种学习方式，而且输入、输出样本都必须是冗余的。 典型的神经网络模型 Boltzmann机（BCM ） 该类神经网络模型使用一噪声过程求得整个模型花费函数（cost function）的全局极小值。 主要用于模式识别（图像、声纳和雷达信号的识别）。 缺点是Boltzmann机的训练时间长。 典型的神经网络模型 Hopfield神经网络模型 它是由相同处理单元构成的单层自联想神经网络模型。 主要用于从片段中进行图像和数据的完全恢复。 缺点是处理单元间连接权值需预先设置，并且单元之间的连接是要对称的，它没有学习能力。 多个自适应线性元模型（MADALINE） 该类神经网络模型是具有最小方差学习功能的线性网络模型。它的学习能力较强，是自适应线性元ADALINE的扩展。 主要用于自适应控制。 缺点是在输入输出之间设置的是一种线性关系。 典型的神经网络模型 自组织映射模型（SOM ） 该类神经网络模型主要是形成从一个密集簇到另一个簇的连续拓扑映射，并且映射矩阵密度随第二个簇所给定的概率密度函数不同而不同。 主要用于从一个几何区域到另一个几何区域的映射。 缺点是需要彻底的训练。 典型的神经网络模型的分类 前馈神经网络模型 自适应线性元模型 感知机 反馈神经网络模型 Hopfield神经网络模型 海明神经网络模型 双向联想存储器 典型的神经网络模型的分类 自组织神经网络模型 自适应谐振理论（ART） 自组织映射神经网络模型（SOM） 随机神经网络模型 模拟退火算法 Boltzmann机 神经网络模型结构特点 神经网络模型是由大量极简单的处理单元所组成 每一个处理单元仅仅是对输入信号加权求和，然后计算该处理单元新的活跃值和输出信号。每个处理单元要完成的功能非常简单，但是神经网络模型中的处理单元数目是如此之多，传统计算机是远远无法比拟的。 神经网络模型结构特点 高度复杂的互连 在神经网络模型中处理单元与处理单元之间存在着高度复杂的互连，有的是在每一个处理单元之间都存在着互连；有的是在层与层之间的处理单元间存在互连，这主要取决于实际问题和所要达到的性能要求。而在传统计算机中，对于单机系统来说不存在互连问题，在双机或多机系统中，处理机之间的互连数也是有限的。 神经计算的本质 计算的数学观点 计算就是在满足一定原理、定理的条件下，从一个空间到另一个空间的映射； 计算的物理观点 计算是按照一定的自