长春理工大学实习报告.docxVIP

长春理工大学 学生实习报告 2013 - 2014 学年 第 2 学期 计算机 实习类别 计算机科学技术 学 院 计算机科学与技术 专 业 学 号 米丹丹 姓 名 PAGE PAGE # 起始周 第17周 周数 1周 实习地点 东三教912 目的： BP算法，即误差反向传播（Error Back Propagation, BP）算法。BP算法的基本思想 是，学习过程由信号的正向传播与误差的反向传播两个过程组成。 1） 正向传播：输入样本一＞输入层一〉各隐层（处理）一＞输出层 2） 误差反向传播：输出误差（某种形式）一＞隐层（逐层）一〉输入层 通过收集资料、学习、编码、运行和修改，进一步掌握BP算法的精髓与用途，从而找 到更优的算法来解决误差反向传播问题。 要求： （1） 具备一定的学习能力和做事认真的态度 （2） 具备一定的编码基础 （3） 掌握BP算法的基本思想 （4） 含有隐层的多层前馈网络能大人提高神经网络的分类能力，用BP算法解决权值 调整问题 （5） 用编码实现BP算法 （6） 对代码进行优化、测试，实现最优 进度安排及内容： 1） 初始化 2） 输入训练样本对，计算各层输出 3） 计算网络输出误差 4） 计算各层误差信号 5） 调整各层权值 6） 检查网络总误差是否达到精度要求，满足，则训练结束；不满足，则返回步骤2） 成绩: 指导教师评语（从学生出勤、学习态度、纪律、实习效果、实习报告数据和图样完整性、书 定工整等方面给出定性和定量的评价人 指导教师签字: PAGE PAGE # 长春理工大学实习报告 BP简介： BP算法，误差反向传播（Error Back Propagation, BP）算法。BP算法的基本思想是，学 习过程由信号的正向传播与误差的反向传播两个过程组成。由于多层前馈网络的训练经常采 用误差反向传播算法，人们也常把将多层前馈网络直接称为BP网络。 1） 正向传播：输入样本一〉输入层一＞各隐层（处理）一＞输出层 注1：若输出层实际输出与期塑输出（教师信号）不符，则转入2）（误差反向传播过程） 2） 误差反向传播：输出误差（某种形式）一＞隐层（逐层）一＞输入层 其主要目的是通过将输出误差反传，将误差分摊给各层所有单元，从而获得各层单元的 误差信号，进而修正各单元的权值（其过程，是一个权值调整的过程）。 注2：权值调整的过程，也就是网络的学习训练过程（学习也就是这么的由来，权值调 整）。 在实际应用中，80%?90%的人工神经网络模型是采用误差反传算法或其变化形式的网 络模型（简称BP神经网络），目前主要应用于函数逼近、模式识别、分类和数据压缩或数 据挖掘。 2=1 BP神经网络模型BP网络模型包括其输入输岀模型、作用函数模型、误差计算模 型和自学习模型。 （1） 节点输出模型 隐节点输出模型：Oj=f（ZWijxXi-qj） （1） 输出节点输岀模型：Yk二f（》TjkxOj-qk） （2） 仁非线形作用函数；q ■神经单元阈值。 （2） 作用函数模型 作用函数是反映卜?层输入对上层节点刺激脉冲强度的函数又称刺激函数，一般取为 长春理工大学实习报告 长春理工大学实习报告 (0,1)内连续取值 Sigmoid 函数：f(x)=1/(1+e) (3)误差计算模型 误差计算模型是反映神经网络期塑输出与计算输出之间误差人小的函数: tpi-i节点的期望输出值；Opi-i节点计算输出值。 (4)自学习模型 神经网络的学习过程，即连接下层节点和上层节点之间的权重矩阵Wij的设定和误差 修正过程。BP网络有师学习方式■需要设定期望值和无师学习方式■只需输入模式之分。自 学习模型为 AWij(n+1)= h x0jxOj+axAWij(n) (5) h ■学习因子；0?输出节点i的计算误差；O卜输出节点j的计算输出：a■动量因子。 BP收敛性： 误差函数是影响收敛速度的首要因素，因为它是权重多维空间的超曲面，该曲面存在着许多 人范围的“平坦区”，又存在着大量的局部极小的“沟谷”，从而影响收敛速度，甚至导致 难于收敛。对误差的计算采用广义的$规则。式⑴是误差函数的定义。 J(w) = l||t-z||2 = li(rA-zJ2 (1) 式中dk表示网络的期望输出，ok表示网络实际输出。在误差反传过程中，对隐含层和输入 层权值修改如下： 其中，w(m+l)和w(m)分别是第m+1次和第m次迭代的连接权值；是第m次迭代的输出误 差对权值的梯度向量；负号表示梯度的下降方向；ri为学习率，一般ne(0,l)o在标准BP 算法中，学习率的值是不变的，一般根据经验来选取。从公式⑵不难看出，学习率的设置对 算法的收敛速度和稳定性有很大的影响：学习率过小，能稳定地收敛，但学习速度慢，往由 于训练时间的限制