第4章神经网络基本理论分析.ppt

4.6 小脑神经网络 输出跟踪结果： 4.6 小脑神经网络 样本2： SampleInput1=[0.05 0.15 0.25 0.35 ]; SampleInput2=[0.05 0.15 0.25 0.35 ]; SampleOutput=[4 4 4 4;2 2 2 2; 3 3 2 2; 1 1 1 1]; 1.6917 1.5671 0.0690 0.4412 1.7003 1.7008 -0.2995 -0.2989 0.6077 0.6699 1.4182 0.8577 联想强度结果： 4.6 小脑神经网络 输出跟踪结果： 4.7 模糊神经网络 模糊神经网络，利用神经网络来实现模糊推理。 1）使网络的结构和权值具有了明确的物理意义，网络的结构设计和权值的初始化都有了理论的根据，避免了网络陷入局部最优。 2）可以利用神经网络的学习能力来调整模糊控制的控制规则和模糊化的方式，使模糊控制具有了一定的自适应能力。 3）模糊神经网络将定性的知识表达和定量的数值运算很好地结合了起来，具有很好的控制效果 4.7.1 模糊神经网络的结构 …… …… ∏ ∏ ∏ ∏ ∏ …… …… ∑ …… PB NB 输入层 模糊化 模糊推理 去模糊化 第1层（输入层）：将输入（系统误差，误差变化率）引入网络： 第2层（模糊化层）：对输入进行模糊化。假设在每个输入论域上定义3个模糊语言词集{N，Z，P}={“负”，“零”，“正”}，隶属函数采用高斯基函数，与{N，Z，P}对应的中心值分别为{-1，0，1}，宽度为{0.5，0.5，0.5}。隶属函数的形状与分布如图所示。 第3层（模糊推理）：代表“and”操作，在此网络中用乘法代替取小运算 第4层代表去模糊化过程，在这里采用权值平均判决法。 wij为网络的权值，其物理意义是各控制规则的输出对应的语言词集的中心值。 4.7.2 网络学习算法 学习仍采用BP算法，定义目标函数 则 训练算法： 训练初始参数： W1=rand(1,5); W2=rand(1,5); theta=rand(1,5); beta=rand(1,5); LearningRate1=0.2; LearningRate2=0.4; LearningRate3=0.2; LearningRate4=0.2; 训练后参数： W1＝[-0.4059 8.5182 -0.5994 -0.1153 -1.1916]; W2=[0.6245 2.8382 0.6632 0.5783 3.5775]; Beta=[1.6219 -4.9403 1.6041 1.5145 -0.3858]; Theta=[1.5832 0.1900 1.5406 1.6665 -0.1441]; 训练1000次目标函数的变化曲线： 训练结束后神经网络的输出与样本的拟和情况 4.4 多层前向BP神经网络 前向网络进一步需研究的问题 局部最优问题，（网络初值选取不恰当）。 学习算法收敛速度慢，Sigmaid函数本身存在无穷多次导数，而BP算法只用了一次导数，致使收敛速度慢。 网络的运行是单向传播，没有反馈，是一个非浅性映射，而不是非浅性动力系统。 网络隐层节点个数和初始权值的选取，尚无理论指导。 4.4 Hopfield神经网络 4.4.1 Hopfield网络原理 1986年美国物理学家J.J.Hopfield利用非线性动力学系统理论中的能量函数方法研究反馈人工神经网络的稳定性，提出了Hopfield神经网络，并建立了求解优化计算问题的方程。 基本的Hopfield神经网络是一个由非线性元件构成的全连接型单层反馈系统，Hopfield网络中的每一个神经元都将自己的输出通过连接权传送给所有其它神经元，同时又都接收所有其它神经元传递过来的信息。Hopfield神经网络是一个反馈型神经网络，网络中的神经元在时刻的输出状态实际上间接地与自己的时刻的输出状态有关。 反馈型网络的一个重要特点就是它具有稳定状态，当网络达到稳定状态的时候，也就是它的能量函数达到最小的时候。 Hopfield神经网络的能量函数表征网络状态的变化趋势，并可以依据Hopfield工作运行规则不断进行状态变化，最终能够达到的某个极小值的目标函数。网络收敛就是指能量函数达到极小值。 如果把一个最优化问题的目标函数转换成网络的能量函数，把问题的变量对应于网络的状态，那么Hopfield神经网络就能够用于解决优化组合问题。 Hopfield神经网络模型是由一系列互联的