4第四章_神经网络的基本理论41.pptVIP

* CMAC神经网络结构 4.9 小脑神经网络 实现两个映射 概念映射: U AC 实际映射: AC AP * 4.9 小脑神经网络 概念映射（conceptual mapping) 从输入空间U到概念存储器AC的一个映射。 实际映射 实际映射是由概念存储器AC中的c个单元，用杂散编码技术映射至实际存储器AP的c个单元，c个单元中存放着相应权值。网络的输出为AP中c个单元的权值的和。 * 4.10 小结 神经网络技术是只能控制和智能信息处理领域被广泛使用的新兴技术，它模拟了人体神经元细胞的信息处理方式和学习方式，具有自组织、自学习的特点。本章系统地介绍了神经网络的基本原理和特征，并详细给出了几种常用神经网络模型的结构描述和学习算法。 * * * BP神经网络学习算法的MATLAB实现 %以每三个月的销售量经归一化处理后作为输入 P=[0.5152 0.8173 1.0000 ; 0.8173 1.0000 0.7308; 1.0000 0.7308 0.1390; 0.7308 0.1390 0.1087; 0.1390 0.1087 0.3520; 0.1087 0.3520 0.0000;]; %以第四个月的销售量归一化处理后作为目标向量 T=[0.7308 0.1390 0.1087 0.3520 0.0000 0.3761]; %创建一个BP神经网络，每一个输入向量的取值范围为[0 ,1]，隐含层有5个神经%元，输出层有一个神经元，隐含层的激活函数为tansig，输出层的激活函数为%logsig，训练函数为梯度下降函数，即2.3.2节中所描述的标准学习算法 net=newff([0 1;0 1;0 1],[5,1],{tansig,logsig},traingd); net.trainParam.epochs=15000; net.trainParam.goal=0.01; %设置学习速率为0.1 LP.lr=0.1; net=train(net,P,T); * BP神经网络学习算法的MATLAB实现 BP网络应用于药品预测对比图 由对比图可以看出预测效果与实际存在一定误差，此误差可以通过增加运行步数和提高预设误差精度业进一步缩小 * BP神经网络的特点 非线性映射能力 能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。 泛化能力 当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。 容错能力 输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小. * BP算法的基本流程 初始化 加输入和期望输出 计算隐层和输出层的输出 迭代次数加1 调节输出层和隐层的连接权值 改变训练样板 训练样终止？ 迭代终止？ No No y y 4.6 多层前向BP神经网络 * 4.6 多层前向BP神经网络 前向网络进一步需研究的问题 (1)该学习算法收敛速度太慢，常常需要成千上万次的迭 代，而且随着训练样例维数的增加，网络性能会变差 (2)从数学上看该算法是一梯度最速下降法，这就有可能出现局部极小问题，这样算法所求得的就不是问题的解，所以BP算法是不完备的 (3)网络中隐节点个数的选取还没有理论的指导 (4)当有新样例加入时，将影响到已学习过的样例，而且要求刻画每个输入样例的特征数目相同 * 4.7 Hopfield神经网络 Hopfield神经网络 霍普菲尔德网络是单层对称全反馈网络，根据其激活函数的选取不同，可分为离散型的霍普菲尔德网络(Discrete Hopfield Neural Network，简称DHNN)和连续型的霍普菲尔德网络(Continuous Hopfield Neural Network，简称CHNN)。 DHNN的激活函数为二值型的，其输入、输出为{0，1}的反馈网络，主要用于联想记忆。 CHNN的激活函数的输入与输出之间的关系为连续可微的单调上升函数,可以取0到1之间的任一实数值,主要用于优化计算。 * 在反馈网络中如果其激活函数f(·)是一个二值型的硬函数，如图1所 示，即ai＝sgn(ni)，i＝l, 2, … r，则称此网络为离散型反馈网络； 如果ai=f(ni)中的f(·)为一个连续单调上升的有界函数，这类网络被 称为连续型反馈网络。图2中所示为一个具有饱和线性激活函数， 它满足连续单调上升的有界函数的条件，常作为连续型的激活函数。 图1 DHNN中的激活函数