课件：高级神经网络.ppt

致力于数据挖掘，合同简历、论文写作、PPT设计、计划书、策划案、学习课件、各类模板等方方面面，打造全网一站式需求 * * * * CMAC比其它神经网络的优越性体现在 小脑模型是基于局部学习的神经网络，它把信息存储在局部结构上，使每次修正的权极少，在保证函数非线性逼近性能的前提下，学习速度快，适合于实时控制 具有一定的泛化能力，即所谓相近输入产生相近输出，不同输入给出不同输出 具有连续（模拟）输入输出能力 采用寻址编程方式，在利用串行计算机仿真时，它将使响应速度加快 CMAC函数非线性逼近器对学习数据出现的次序不敏感 由于CMAC所具有的上述优越性能，使它比一般神经网络具有更好的非线性逼近能力，更适合于复杂动态环境下非线性实时控制的要求， CMAC神经网络的结构如图8-8所示 图8-8 CMAC神经网络结构 8.3.2 一种典型CMAC算法 CMAC网络由输入层，中间层和输出层组成。在输入层与中间层、中间层与输出层之间分别为由设计者预先确定的输入层非线性映射和输出层权值自适应性线性映射。 CMAC神经网络的设计主要包括输入空间的化分、输入层至输出层非线性映射的实现及输出层权值学习算法。 CMAC是前馈网络，输入输出之间的非线性关系由以下两个基本映射实现。 （1）概念映射（U?AC） 概念映射是从输入空间U至概念存储器AC的映射。 设输入空间向量为 ，量化编码为 ，输入空间映射至AC中c个存储单元（c为二进制非零单元的数目）。 采用下式表示映射后的向量： Rp=S([up])=[s1(up),s2(up),…,sc(up)]T 式中 sj([up])=1 , j=1,2,…,c 映射原则为：在输入空间邻近的两个点，在AC中有部分的重叠单元被激励。距离越近，重叠越多；距离越远的点，在AC中不重叠，这称为局域泛化，c为泛化常数。 （2）实际映射 （AC AP） 实际映射是由概念存储器AC中的c个单元，用杂散编码技术映射至实际存储器AP的c个单元，c个单元中存放着相应权值。网络的输出为AP中c个单元的权值的和 只考虑单输出： 即 CMAC采用的学习算法如下： 采用δ学习规则调整权值，权值调整指标为 由梯度下降法，权值按下式调整： 其中 其中 为惯性系数 8.3.3 仿真实例 采用CMAC网络逼近非线性对象： 取u(k)作为网络的输入，采用线性化函数对输入状态进行量化，实现CMAC的概念映射： 其中xmin和xmax输入的最大最小值，M为xmax量化后所对应的最大值，round()为四舍五入的Matlab函数。 采用杂散编码技术中的除留余数法实现CMAC的实际映射。设杂凑表长为m，以元素值s(k)+i除以某数N（N=m）后所得余数+1作为杂凑地址，实现了实际映射，即 其中 。 在仿真中，取M=100，N=7，取泛化参数c=7,?=1.5,?=0.05。 CMAC网络逼近程序为chap8_3.m 8.4 Hopfield神经网络 8.4.1 Hopfield网络原理 1986年美国物理学家J.J.Hopfield利用非线性动力学系统理论中的能量函数方法研究反馈人工神经网络的稳定性，提出了Hopfield神经网络，并建立了求解优化计算问题的方程。 基本的Hopfield神经网络是一个由非线性元件构成的全连接型单层反馈系统，Hopfield网络中的每一个神经元都将自己的输出通过连接权传送给所有其它神经元，同时又都接收所有其它神经元传递过来的信息。Hopfield神经网络是一个反馈型神经网络，网络中的神经元在时刻的输出状态实际上间接地与自己的时刻的输出状态有关。 反馈型网络的一个重要特点就是它具有稳定状态，当网络达到稳定状态的时候，也就是它的能量函数达到最小的时候 Hopfield神经网络的能量函数表征网络状态的变化趋势，并可以依据Hopfield工作运行规则不断进行状态变化，最终能够达到的某个极小值的目标函数。网络收敛就是指能量函数达到极小值 如果把一个最优化问题的目标函数转换成网络的能量函数，把问题的变量对应于网络的状态，那么Hopfield神经网络就能够用于解决优化组合问题 Hopfield神经网络模型是由一系列互联的神经单元组成的反馈型网络，如图8-10所示。 图8-10 Hopfield网络模型 如果把