神经网络最终版讲解材料.pptVIP

(3)．概率式学习 从统计力学、分子热力学和概率论中关于系统稳态能量的标准出发，进行神经网络学习的方式称概率式学习。 神经网络处于某一状态的概率主要取决于在此状态下的能量，能量越低，概率越大。 概率式学习的典型代表是Boltzmann机学习规则。它是基于模拟退火的统计优化方法，因此又称模拟退火算法。 （4).竞争式学习 竞争式学习属于无教师学习方式。 此种学习方式利用不同层间的神经元发生兴奋性联接，以及同一层内距离很近的神经元间发生同样的兴奋性联接，而距离较远的神经元产生抑制性联接。在这种联接机制中引入竟争机制的学习方式称为竟争式学习。 它的本质在于神经网络中高层次的神经元对低层次神经元的输入模式进行竞争识别。 3 BP神经网络及其学习算法 3.1 BP神经网络 （back-propagation neural network）的结构 3.2 BP学习算法 3.3 BP算法的实现 3.1 BP神经网络的结构 （1）. BP 网络结构 3.1 BP神经网络的结构 （2）. 输入输出变换关系 3.1 BP神经网络的结构 （3）. 工作过程 第一阶段或网络训练阶段： N 组输入样本：xi=[xi1, xi2,…, xip1]T di=[di1, di2,…,dipm]T i=1, 2,…, N 对网络的连接权进行学习和调整，以使该网络实现给定样本的输入输出映射关系。 第二阶段或称工作阶段：把实验数据或实际数据输入到网络，网络在误差范围内预测计算出结果。 3 BP神经网络及其学习算法 3.1 BP神经网络的结构 3.2 BP学习算法 3.3 BP算法的实现 （1）是否存在一个BP神经网络能够逼近给定的样本或者函数。 3.2 BP学习算法 两个问题： （ 2）如何调整BP神经网络的连接权，使网络的输入与输出与给定的样本相同。 1986年，鲁梅尔哈特（D. Rumelhart）等提出BP学习算法。 3.2 BP学习算法 目标函数： 约束条件： 连接权值的修正量： （1）. 基本思想 BP算法的基本原理：利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。 3.2 BP学习算法 正向传播：输入信息由输入层传至隐层，最终在输出层输出。 反向传播：修改各层神经元的权值，使误差信号最小。 （2）. 学习算法 （2） 学习算法 （3）BP算法直观解释 情况一直观表达 当误差对权值的偏导数大于零时，权值调整量为负，实际输出大于期望输出，权值向减少方向调整，使得实际输出与期望输出的差减少。 who e 0，此时Δwho0 情况二直观表达 当误差对权值的偏导数小于零时，权值调整量为正，实际输出少于期望输出，权值向增大方向调整，使得实际输出与期望输出的差减少。 e 0, 此时Δwho0 who 3.3 BP算法的实现 （1） 隐层数及隐层神经元数的确定：目前尚无理论指导。 （2）初始权值的设置：一般以一个均值为0的随机分布设置网络的初始权值。 （3）训练数据预处理：线性的特征比例变换，将所有的特征变换到[0，1]或者[-1，1]区间内，使得在每个训练集上，每个特征的均值为0，并且具有相同的方差。 （4）后处理过程：当应用神经网络进行分类操作时，通常将输出值编码成所谓的名义变量，具体的值对应类别标号。 （1）. BP算法的设计 3.3 BP算法的实现 ① 初始化：对所有连接权和阈值赋以随机任意小值； ② 从 N 组输入输出样本中取一组样本： x=[x1, x2,…, xp1]T, d=[d1, d2,…,dpm]T, 把输入信息x=[x1, x2,…, xp1]T输入到BP网络中 ③ 正向传播：计算各层节点的输出： ④ 计算网络的实际输出与期望输出的误差： （2）. BP算法的计算机实现流程 ⑤ 反向传播：从输出层方向计算到第一个隐层，按连接权值修正公式向减小误差方向调整网络的各个连接权值。 ⑥ 让t+1→t，取出另一组样本重复（2）－（5），直到 N 组输入输出样本的误差达到要求时为止。 BP学习算法程序框图 （3）BP神经网络学习算法的MATLAB实现 MATLAB中BP神经网络的重要函数和基