神经网络bp算法.pptxVIP

神经网络算法—BP算法一、神经网络简介神经网络的基本功能非线性映射功能三、神经网络建模基础假设1图(a) 表明，正如生物神经元有许多激励输入一祥，人工神经元也应该有许多的输入信号，图中每个输入的大小用确定数值xi表示，它们同时输入神经元j，神经元的单输出用oj表示。三、神经网络建模基础假设2生物神经元具有不同的突触性质和突触强度，其对输入的影响是使有些输入在神经元产生脉冲输出过程中所起的作用比另外一些输入更为重要。图(b)中对神经元的每一个输入都有一个加权系数wij，称为权重值，其正负模拟了生物神经元中突触的兴奋和抑制，其大小则代表了突触的不同连接强度。三、神经网络建模基础假设3作为ANN的基本处理单元，必须对全部输入信号进行整合，以确定各类输入的作用总效果，图(c)表示组合输人信号的“总和值”，相应于生物神经元的膜电位。神经元激活与否取决于某一阈值电平，即只有当其输入总和超过阈值时, 神经元才被激活而发放脉冲, 否则神经元不会产生输出信号。三、神经网络建模基础假设4图(d) 人工神经元的输出也同生物神经元一样仅有一个，如用oj表示神经元输出，则输出与输入之间的对应关系可用图(d)中的某种非线性函数来表示，这种函数一般都是非线性的。三、神经网络建模基础BP算法，误差反向传播（Error Back Propagation, BP）算法。BP算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。数据归一化常见的归一化方法y=(x-MinValue)/(MaxValue-MinValue)y=log10(x)内部函数premnmx、postmnmx、tramnmx输入训练数据的乱序排法block方法抽取按数组标号自定义抽取交错索引抽取随机抽缺点1）易形成局部极小（属贪婪算法，局部最优)而得不到全局最优；2）训练次数多使得学习效率低下，收敛速度慢（需做大量运算）；3）隐节点的选取缺乏理论支持；4）训练时学习新样本有遗忘旧样本趋势。 谢谢大家！联想记忆功能 由于神经网络具有分布存储信息和并行计算的性能，因此它具有对外界刺激信息和输入模式进行联想记忆的能力。联想记忆有两种基本形式：自联想记忆与异联想记忆。自联想记忆 网络中预先存储（记忆)多种模式信息，当输入某个已存储模式的部分信息或带有噪省干扰的信息时，网络能通过动态联想过程回忆起该模式的全部信息。异联想记忆 网络中预先存储了多个模式对，每一对模式均由两部分组成，当输入某个模式对的一部分时，即使输入信息是残缺的或迭加了噪声的，网络也能回忆起与其对应的另一部分。 神经网络通过预先存储信息和学习机制进行自适应训练，可以从不完整的信息和噪声干扰中恢复原始的完整信息，这一能力使其在图象复原、图像和语音处理、模式识别、分类等方面具有巨大的潜在应用价值。隐节点的选择全靠经验，没什么理论支持步长问题局部最优归一化是为了加快训练网络的收敛性，具体做法是：1、 把数变为（0，1）之间的小数主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速，应该归到数字信号处理范畴之内。2?、把有量纲表达式变为无量纲表达式归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量，比如，复数阻抗可以归一化书写：Z = R + jωL = R(1 + jωL/R)?，复数部分变成了纯数量了，没有量纲。另外，微波之中也就是电路分析、信号系统、电磁波传输等，有很多运算都可以如此处理，既保证了运算的便捷，又能凸现出物理量的本质含义。