ADLINE_LMS_Matlab实验.docx

《神经网络导论》实验一Adaline的LMS算法专业班级硕 2081 学号 3112313038 姓名李海玥完成时间 2012年12月《神经网络导论》实验一Adaline的LMS算法李海玥2012年12月实验目的通过实验了解Adaline的工作原理；对比LMS三种算法，并通过上机实验掌握具体的实现方法；与采用硬限幅函数的单个神经元模型进行对比，比较其异同。实验原理Adaline原理采用硬限幅函数的单个神经元，通过简单的学习算法，可以成功实现两类线性可分类的分类功能。但对于大多数的非线性可分类来说，则无法完成分类功能，因此采用具有线性功能函数的神经元Adaline方法。设输入矢量，如果加权向量，则神经元的输出为：按照最小二乘法，就是要求所有样本的实际输出值d与理想预期值y之间的误差的均方值最小。定义误差。考虑所有可能出现的样本的均方误差：其中，是输入向量相关矩阵，是输入向量与期望输出的互相关向量，通过求梯度求得最优权向量：LMS学习问题的严格递推学习算法任意设置初始加权矢量；对于每一个时序变量k，按下式调整权向量W：LMS学习问题的随机逼近算法将严格递推公式修正如下形式：是时序k的非增函数；；LMS学习基于统计的算法这是一种具有一定统计特性的学习算法，递推公式如下：如果P的取值很大相当于严格递推法，若P=1，则相当于随机逼近法。实验内容及步骤3.1. 样本矢量用Matalb的load命令加载数据文件lms_samp.mat，其中samp是一个200×3的矩阵，其中第一列是样本的横坐标，第二列是样本的纵坐标，第3列为样本的理想输出。图1 样本矢量图3.2. LMS算法忽略阈值情况下数据在Matlab 中运行结果如下：阈值待定情况下根据样本数据得到运行结果如下：3.3. 随机逼近算法在步幅系数选择，最小误差，在Mtalab中某一次的运行结果如下: 图2 均方误差与迭代次数图3.4. 不同步幅系数对迭代次数的影响图3 α=0.002 图4 α=0.008图5 α=0.02 图6 α=0.1图7 α=0.3从图中可以看到步幅系数选择的越大，需要迭代的次数越少。这是由于初始权值即初始分界线确定的情况下，步幅系数越大，每次接近最佳分界线的速度越快。但是当步幅系数超过一定的值以后，就可能需要更多次的迭代，甚至出现不收敛的情况。这是因为步幅系数过大，分界线斜率一次改变过多，容易导致“转过头”的现象发生，可能需要更多的次数接近最佳分界线，也可能越来越远。3.5. 基于统计的算法取步幅系数α=0.02，最小误差，在Mtalab中某一次的运行结果如下: 图8 均方误差与迭代次数图3.6. 不同样本数对收敛速度的影响表1 不同步幅下随机推进法的迭代次数测试序号样本数12345迭代次数均值2242940402130.850232627242725.4从测试结果上看，在步幅系数确定的情况下，样本数越大，收敛所需的迭代次数越少。这是因为在步幅系数一定的情况下，样本数少，权值改变随机性越强，收敛速度慢；反之，样本数增多，每次权值的改变更趋于期望，因此收敛步数小，收敛速度快，迭代过程更加稳定。3.7. 检验图9 检验样本和各种算法结果表2 检验结果算法权值判错次数正确率LMS算法1095%随机逼近算法1095%基于统计的算法1095%试验思考如果想用硬限幅函数的单个神经元完成该分类任务，会出现什么样的现象？答：LMS算法以及矩阵算法，都是基于传递函数是得到的，线性函数相比于硬限幅函数，最大特点就是线性函数是可微的。LMS算法是基于上式递推得到的，而三种递推算法都是通过求导完成的。因此失去了线性条件，换成硬限幅函数作为传递函数，以上算法均无法进行。如果采用硬限幅函数，传递函数为，按递推求权值，此时得到权值为W=[0.0509 0.542]，图10 均方误差与迭代次数的关系图及均方误差曲线图可以看到，均方误差变化比较突兀。这是因为对于硬限幅函数所以权值可能发生多次没有变化，和突然变化的情况，所以，当使用具有硬限幅函数的神经元处理这类问题时，不能保证学习结果是收敛的。通过观察比较随机逼近算法与不同P时最陡下降算法的均方误差曲线随时序变量k的变化有什么不同，并简要解释原因。答：从上面的比较可以看出，随着变量P的增大，均方误差曲线趋于平滑，这是因为样本取样值越多，权值改变量越趋于期望值，收敛步数更少，收敛速度快，迭代过程更加稳定。五、试验总结通过本次试验了解了Adaline算法，对LMS三种算法进行了对比，并通过Matlab对算法进行了具体的实现。比较得出了在最小误差固定的情况下，步幅系数对收敛速度的影响；以及不同样本个数对均方差的收敛性、收敛速度的影响。并