[6-有导师学习神经网络的回归拟合.pptVIP

有导师学习神经网络的回归拟合—汽油辛烷值预测 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 基础理论 神经网络的学习规则又称神经网络的训练算法，用来计算更新神经网络的权值和阈值。学习规则有两大类别：有导师学习和无导师学习。在有导师学习中，需要为学习规则提供一系列正确的网络输入/输出对（即训练样本），当网络输入时，将网络输出与相对应的期望值进行比较，然后应用学习规则调整权值和阈值，使网络的输出接近于期望值。而在无导师学习中，权值和阈值的调整只与网络输入有关系，没有期望值，这类算法大多用聚类法，将输入模式归类于有限的类别。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 1. BP神经网络概述 BP神经网络是一种典型的多层前向型神经网络，具有一个输入层、数个隐含层和一个输出层。层与层之间采用全连接的方式，同一层神经元之间不存在相互连接。理论上已证明，具有一个隐含层的三层网络可以逼近任意非线性函数。 隐含层中的神经元多采用S型传递函数，输出层的神经元多采用线性传递函数。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 典型的BP神经网络结构如图所示 IW1,1 b1 + LW1,2 b2 + 输入层 隐含层 输出层 a1 a2 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 2. BP神经网络的学习算法 BP神经网络的误差反向传播算法是典型的有导师指导的学习算法，其具体思想是对一定数量的样本进行学习，即将样本的输入送至网络输入层的各个神经元，经隐含层和输出层计算后，输出层各个神经元输出对应的预测值，若预测值与期望值输出之间的误差不满足精度要求时，则从输出层反向传播该误差，从而进行权值和阈值的调整，使得网络的输出和期望输出间的误差逐渐减小，直至满足精度要求； Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. BP网络的精髓： 将网络的输出与期望输出间的误差归结为权值和阈值的“过错”，通过反向传播把误差“分摊”给各个神经元的权值和阈值。 权值和阈值的调整要沿着误差函数下降最快的方向-负梯度方向。 设一对样本 为 ，隐含层神经元为 。输入层与隐含层间的网络权重为W1，隐含层与输出层神经元间的网络权值为W2.隐含层与输出层的阈值为 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 则隐含层神经元的输出为： 则输出层神经元的输出为： 网络输出与期望输出的误差为： Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. BP网络函数命令 (1) BP神经网络创建 net = newff(P,T,[S1 S2 … S(N-1)],{TF1 TF2 …TFN1}, … BTF,BLF,PF,IPF,OPF,DDF) (2) BP神经网络训练