基于BP神经网络的数据分类.ppt

基于BP神经网络的数据分类 姓名：丁莉 学号指导老师：周润景 日期：2009.7.1 1.1 BP网络简介 1.2 BP网络模型 1.3 学习规则 1.4 网络程序设计 1.5 BP网络应用 1.1 BP网络简介 反向传播网络(Back-Propagation Network，简称BP网络)是将W-H学习规则一般化，对非线性可微分函数进行权值训练的多层网络 权值的调整采用反向传播(Back-propagation）的学习算法 它是一种多层前向反馈神经网络，其神经元的变换函数是S型函数 输出量为0到1之间的连续量，它可实现从输入到输出的任意的非线性映射 在人工神经网络的实际应用中，BP网络广泛应用于函数逼近、模式识别/分类、数据压缩等，80%~90%的人工神经网络模型是采用BP网络或它的变化形式，它也是前馈网络的核心部分，体现了人工神经网络最精华的部分。其主要思想是从后向前（反向）逐层传播输出层的误差，以间接计算出隐层误差。算法分为两个部分：第一部分（正向传播过程）输入信息从输入层经隐层逐层计算各单元的输出值；第二部分（反向传播过程）输出误差逐层向前计算出隐层各单元的误差，并用此误差修正前层权值。 1.2 网络模型 1.2 网络模型 BP网络具有一层或多层隐含层，除了在多层网络上与其他的模型有不同外，其主要差别也表现在激活函数上。 BP网络的激活函数必须是处处可微的，因此它不能采用二值型的阀值函数{0，1}或符号函数{－1，1} BP网络经常使用的是S型的对数或正切激活函数和线性函数 1.3 学习规则 BP神经网络是一前向结构无反馈的非线性映射系统，能较好地拟合非线性系统的输入与输出关系。BP网络学习规则的指导思想是：对网络权值和阈值的修正要沿着表现函数下降最快的方向——负梯度方向。 其中xk是当前的权值和阈值矩阵，gk是当前表现函数的梯度，ak是学习速率。 1.3 学习规则 假设输入为P，输入神经元有r个，隐含层内有s1个神经元，激活函数为F1，输出层内有s2个神经元，对应的激活函数为F2，输出为A，目标矢量为T 1.3 学习规则 信息的正向传递 隐含层中第i个神经元的输出 输出层第k个神经元的输出 定义误差函数 1.3 学习规则 利用梯度下降法求权值变化及误差的反向传播 输出层的权值变化 其中 同理可得 1.3 学习规则 利用梯度下降法求权值变化及误差的反向传播 隐含层权值变化 其中 同理可得 1.3 学习规则 对于f1为对数S型激活函数， 对于f2为线性激活函数 1.4 网络程序设计 （1）网络的初始化 （2）训练参数初始化 （3）网络训练 （4）网络仿真 （5）显示结果 下面进行分步介绍： 1.4 网络程序设计 以上所有的学习规则与训练的全过程，可以用MATLAB中的函数trainbp.m来完成 它的使用只需定义有关参数：显示间隔次数，最大循环次数，目标误差，以及学习速率。调用后返回训练后权值，循环总数和最终误差 TP＝[disp_freq max_epoch err_goal lr] [W，B，epochs，errors]＝trainbp(W，B，’F’，P，T，TP) 1.4 网络程序设计 在训练之前要对网络进行初始化，并设置好训练参数。 网络的输入向量： 网络的目标向量： 网络初始化程序： 1.4 网络程序设计 %创建一个BP网络，隐含层有s1个神经元，传递函数为tansig，中间层有s2个神经元，传递函数为logsig，训练函数为批梯度下降函数traingd net=newff(minmax(p),[s1,s2],{tansig,logsig},traingd); %训练步数为X %目标误差为E net.trainParam.epochs=X; net.trainParam.goal=E; 1.5 BP网络应用 BP网络的输入和输出层的神经元数目由输入和输出向量的维数确定。输入向量由A,B,C这三列决定，所以输入层的神经元数目为3。 输出结果有四种模式，在这里设为1、2、3、4代表4种输出，因此输出层的神经元个数为4。隐含层节点数的确定： 其中m为输入层节点数，n为输出层节点数，a为【1，10】之间的常数。因为此处是3输入4输出的神经网络，所以隐含层节点数选择12。 1.5 BP网络应用 源程序代码: %构建训练样本中的输入向量p p1=[1739.94 373.3 1756.77 864.45 222.85 877.88 1803.58; 1675.15 3087.05 1652 1647.31 3059.54 2031.