实验ADLINELMSMatlab实验.docxVIP

实验1 Adaline的三种LMS算法实验目的通过实验了解Adaline的工作原理；对比LMS三种算法，并通过上机实验掌握具体的实现方法；与采用硬限幅函数的单个神经元模型进行对比，比较其异同。实验原理Adaline原理采用硬限幅函数的单个神经元，通过简单的学习算法，可以成功实现两类线性可分类的分类功能。但对于大多数的非线性可分类来说，则无法完成分类功能，因此采用具有线性功能函数的神经元Adaline方法。设输入矢量，如果加权向量，则神经元的输出为：按照最小二乘法，就是要求所有样本的实际输出值d与理想预期值y之间的误差的均方值最小。定义误差。考虑所有可能出现的样本的均方误差：其中，是输入向量相关矩阵，是输入向量与期望输出的互相关向量，通过求梯度求得最优权向量：LMS学习问题的严格递推学习算法任意设置初始加权矢量；对于每一个时序变量k，按下式调整权向量W：LMS学习问题的随机逼近算法将严格递推公式修正如下形式：是时序k的非增函数；；LMS学习基于统计的算法这是一种具有一定统计特性的学习算法，递推公式如下：如果P的取值很大相当于严格递推法，若P=1，则相当于随机逼近法。实验内容及步骤3.1. 样本矢量用MATLAB的load命令加载数据文件lms_samp.mat，将这200个点进行区域区分。采用原始的逐个判断标记出最长距离，定半径和圆心。结果如图1。图1 样本矢量图3.2. LMS算法将阈值取为权系数时，运行如下：3.3. 随机逼近算法在步幅系数选择，在MATLAB中某一次的运行结果如下: 图2 均方误差与迭代次数图3.4. 不同步幅系数对迭代次数的影响图3 α=0.002 图4 α=0.008图5 α=0.02 图6 α=0.1图7 α=0.3从图中可以看到步幅系数越大，迭代次数越少。但是当步幅系数超过一定的值以后，就可能需要更多次的迭代，甚至出现不收敛的情况。这是因为步幅系数过大，分界线斜率一次改变过多，容易导致“跨过头”，可能需要更多的次数接近最佳分界线，也可能越来越远。比如时，最小均方差是1.3355。在循环体内，由于担心不收敛陷入死循环，所以内部还设置了当迭代次k=200的时候，直接跳出。如图3所示，由于步幅系数较小，迭代了200次以后，还没有到达收敛的条件。但是从图中可以看出，顺着这个下降趋势，它一定会收敛的。3.5. 基于统计的算法取步幅系数α=0.02，最小误差，在MATLAB中的运行结果如下:图8均方误差与迭代次数图图9图10图11图12图13图14从测试结果上看，在α=0.02时，P越大，收敛所需的迭代次数越少。这是因为在步幅系数一定的情况下，样本数少，权值改变随机性越强，收敛速度慢；反之，样本数增多，每次权值的改变更趋于总体，因此收敛步数小，收敛速度快，迭代过程更加稳定。在P=200时，α越大，收敛所需的迭代次数越少，但是当α大到一定程度时，计算是发散的。这个现象与前面对步幅系数的讨论是一致的。3.6检验正确次数qbx =191 192 190用权系数计算出实际输出后，对实际输出用对称型符号函数处理成-1和1。然后再去与原期望输出比较。用的是相减判零的方法。从统计可以看出，均方误差最小的那个确实正确次数多一些。图15检验样本和3种算法结果试验思考如果想用硬限幅函数的单个神经元完成该分类任务，会出现什么样的现象？答：用硬限幅函数的单个神经元只能完成线性可分类。对于这种非线性可分类，如果采用硬限幅函数，传递函数为，按递推求权值，可能会出现迭代不收敛。这是因为所以权值可能发生多次没有变化，和突然变化的情况。2 通过观察比较随机逼近算法与不同P时最陡下降算法的均方误差曲线随时序变量k的变化有什么不同，并简要解释原因。答：在步幅系数确定的情况下，随着变量P的增大，均方误差曲线趋于平滑，收敛所需的迭代次数越少。这是因为在步幅系数一定的情况下，样本数少，权值改变随机性越强，收敛速度慢；样本数增多，每次权值的改变更趋于期望，因此收敛步数小。五、试验总结与采用硬限幅函数的单个神经元模型进行相比，采用线性函数时单个神经元的最小均方分类方法能区分非线性可分类，硬限幅神经元则无法完成分类功能。比较LMS三种算法，在前后误差接近即停止迭代的情况下，步幅系数越大，迭代次数越少。但是当步幅系数超过一定的值以后，就可能需要更多次的迭代，甚至出现不收敛的情况；样本个数越大，因为在每一步迭代中对总样本的整体把握加强，所以收敛步数小。但由于每一步考虑的样本数量的增多，总体的计算量是相当的，所以收敛速度不一定加快。我没有用tic toc统计，但是我觉得迭代次数减少不一定收敛速度就加快。我觉得实际计算中，训练对权系数的求取，循环迭代的条件应该是前后两次权系数接近（用该向量