感知器算法实验.docVIP

感知器算法 BP算法实验 硕633 3106036072 赵杜娟 一. 实验目的 理解线性分类器的分类原理。 掌握感知器算法，利用它对输入的数据进行分类。 理解BP算法，使用BP算法对输入数据进行分类。 二. 实验原理 感知器算法 感知器算法是通过训练模式的迭代和学习算法，产生线性可分的模式判别函数。感知器算法就是通过对训练模式样本集的“学习”得出判别函数的系数解。在本次实验中,我们主要是采用硬限幅函数进行分类。 感知器的训练算法如下： 设输入矢量 ， 加权矢量,则神经元 的输出可通过下式来计算 （1） 这里对于训练结束我们判断的依据是实际输出值与理想预期值之间误差的均方值最小。定义它的均方值记作,令, 则可以推出 （2） 可证存在最佳的加权矢量，使达到最小。解得 （3） 式（3）给出了求最佳加权矢量的方法，但是需要做大量的统计计算，并且需要解决高阶矩阵求逆的问题，这些都是非常困难的。于是我们给出一种递推求解的方法： 在给定初始权值后，以这种方法可以得到递推公式： （4） 用这种方法虽然可以保证求得严格的最佳解，且避开了矩阵求逆的困难，但学习过程中的每一步仍需完成大量的统计计算。 2．BP算法 由于硬限幅函数是非可微函数,不能实现多层神经网络的一种有效的LMS学习算法。而BP算法中所用到的是Sigmoid型函数，它既具有完成分类所需的非线性特性，又具有实现LMS算法所需的可微特性。采用S型函数的神经元的输入和输出之间的关系为： （5） 采用了S型函数就可将用于单神经元的LMS学习算法适当推广，得到一种适用于前向多层神经网络的有效学习算法。 我们现在研究一个采用S型函数的前向三层神经网络来说明其原理。 对于训练样本p,它的输入是N维矢量X，X=，网络的第一，二，三层分别包括J，K，M个神经元，它的总输出是一个M维矢量，Y=，第i层到第i+1层之间的权重系数用来表示。可设前向三层神经网络输出各个分量的理想值是,i=0,1,……M-1，而这些分量的实际值是, i=0,1,……M-1，理想值和实际值之间的误差是。各输出误差的平方和可以表示为： （6） 现在我们希望改变网络中的各个加权系数，使得尽可能的减小。为此我们可以采取最陡下降算法的公式来调整权重系数。公式如下： 式中的是学习的步幅，它应随学习过程而变化。 对于通用神经层，它的各个输出与各个输入之间的关系可以表示为： 如果设，则 式中的表示s型函数。我们不难看出上式即为给输入加一个恒等于1的部分，在神经网络中也应相应的加一个节点，而且这个节点的权系数就是这一层网络的阈值。经推倒可得权系数调整的递推公式如下： （7） 对输出层： 对隐含层： 现对于三层神经网络有 l=3时（输出层） l=2时（隐含层） l=1时（第一层） 其中： 可见，这一算法的计算过程是先计算第三层（即输出层）的各项“误差分量”，然 后用计算第二层（隐含层）的“等效误差分量” ，最后再用计算第一层（隐含层）的“等效误差分量” 。只要算出这些误差分量，系数调整量即可立即求得。所以，这是一种由输出层向输入层逐步反推的学习算法，故称之为“逆推”学习算法，或BP算法。 三．实验内容 1. 感知器算法实验 本实验利用感知器算法的原理，随机抽取两类的部分数据，然后，用这两类的其他数据来验证分类是否正确。这里是利用感知器两两分类的原理。实验可得结果如下表。其中r1是输入x1所得的分类正确率，r2是输入x2所得的分类正确率，r3是输入x3所得的分类正确率。 训练样本数 输入不同组数据后的训练次数和分类正确率 x1和x2 x1和x3 x2和x3 m=5 r1=100% r2=100% k=35 r1=100% r3=100% k=15 r2=98% r3=50% k=135 m=15 r1=100% r2=100% k=30 r1=100% r3=100% k=