BP神经网络分类.pptxVIP

利用BP神经网络解决分类问题指导老师：何小其日期：2017.6.101.1 BP网络介绍1.2 BP网络模型1.3 学习规划1.4 网络程序设计1.1BP神经网络介绍人工神经网络（Artificial Neural Networks，ANN）系统是?20?世纪?40?年代后出现的。它是由众多的神经元可调的连接权值连接而成，具有大规模并行处理、分布式信息存储、良好的自组织自学习能力等特点。BP（Back Propagation）算法又称为误差反向传播算法，是人工神经网络中的一种监督式的学习算法。BP神经网络算法基本的结构由非线性变化单元组成，具有很强的非线性映射能力。而且网络的中间层数、各层的处理单元数及网络的学习系数等参数可根据具体情况设定，灵活性很大，在优化、信号处理与模式识别、智能控制、故障诊断等许多领域都有着广泛的应用前景。1.1BP神经网络介绍在人工神经网络的实际应用中，BP网络广泛应用于函数逼近、模式识别/分类、数据压缩等，80%~90%的人工神经网络模型是采用BP网络或它的变化形式。BP网络也是前馈型神经网络的核心部分，体现了人工神经网络最精华的部分。主要思想是从后向前（反向）逐层传播输出层的误差，以间接计算出隐层误差。故称为误差反向传播算法1.1BP神经网络介绍BP算法分为两个部分：第一部分（正向传播过程）输入信息从输入层经隐层逐层计算各单元的输出值第二部分（反向传播过程）输出误差逐层向前计算出隐层各单元的误差，并用此误差修正前层权值，最终使误差减小到可接受的范围。具体步骤如下：1.1BP神经网络介绍1.从训练集中取出某一样本，把信息输入网络中。2.通过各节点间的连接情况正向逐层处理后，得到神经网络的实际输出。3.计算网络实际输出与期望输出的误差。4.将误差逐层反向回传至之前各层，并按一定原则将误差信号加载到连接权值上，使整个神经网络的连接权值向误差减小的方向转化。5、对训练集中每一个输入—输出样本对重复以上步骤，直到整个训练样本集的误差减小到符合要求为止。1.2BP神经网络模型BP网络一般为多层神经网络，由BP神经元构成的二层网络（如下图所示：两层BP神经网络模型），BP网络的信息从输入层流向输出层，因此是一种多层前馈神经网络。 一个具有输入和隐含层的神经网络模型结构（图1）1.2BP神经网络模型1.BP网络具有一层或多层隐含层，除了在多层网络上与其他的模型有不同外，其主要差别也表现在激活函数上。2.BP网络的激活函数必须是处处可微的，因此它不能采用二值型的阀值函数{0，1}或符号函数{－1，1}3.BP网络经常使用的是S型传输函数（如logsig函数），其输出值将会限制在较小的范围（0,1）内，线性传输函数则可以取任意值1.3学习规则对于图1的BP神经网络，设K为迭代次数，则每层权值和阈值的修正按下式进行：式中，x（K）为第K次迭代各层之间的链接权向量或阈向量；g（k）=?E(K)/?x(k)为第K次迭代的神经网络输出误差对各权值或阈值的梯度向量；负号表示梯度的反方向，即梯度的最速下降方向；a（k）为学习效率，一般为常数;E(K)为第K次迭代的网络输出的总误差性能函数，BP网络误差性能函数的默认值为均方误差。1.3学习规则当一个样本（设第P个样本）输入网络，并产生输出时，均方误差应为各输出单元误差平方之和，即当所有样本都输入一次后，总误差为1.3学习规则假设输入为P，输入神经元有r个，隐含层内有s1个神经元，激活函数为F1，输出层内有s2个神经元，对应的激活函数为F2，输出为A，目标矢量为T1.3学习规则信息的正向传递 隐含层中第i个神经元的输出 输出层第k个神经元的输出 (1.3.1) 定义误差函数 (1.3.2) 1.3学习规划算法的下一阶是反向传播的敏感性值，在开始反向传播前需要先求传输函数的导数对于f1为对数S型激活函数：1.3学习规划对于f2为线性激活函数：根据式：（1.3.1）或（1.3.2）和各层的传输函数，可求出第K次迭代的误差曲面的梯度g（k）=?E(K)/?x(k),代入x（k+1）=x(k)-αg(k),便可逐次修正其权值和阈值，并使总的误差减小的方向变化，直到所要求的误差性能为止。1.4网络程序设计蠓虫分类问题可概括叙述如下：生物学家试图对两种蠓虫（Af与Apf）进行鉴别，依据的资料是触角和翅膀的长度，已经测得了9 支Af和6 支Apf 的数据如下： Af: (1.24,1.27)，(1.36,1.74) ，(1.38,1.64) ，(1.38,1.82) ，(1.38,1.90) ，(1.40,1.70) ，(1.48,1.82) ，(1.54,1.82) ，(1.56,2.08). Apf: (1.14,1.82)，(1.18,1.96) ，(1.20,1.86) ，(1.2