模式识别 聚类分析 模式识别第2,3章 聚类分析_图文.docVIP

模式识别 聚类分析 模式识别第2,3章 聚类分析_图文 导读：就爱阅读网友为您分享以下“模式识别第2,3章 聚类分析_图文”的资讯，希望对您有所帮助，感谢您对92的支持! 对感知器算法 式中的w(k)、xk随迭代次数k而变，是变量。定义一个对错误分类敏感的准则函数J(w, x)。先任选一个初始权向量w(1)，计算准则函数J的梯度，然后从w(1)出发，在最陡方向（梯度方向）上移动某一距离得到下一个权向量w(2) 。 讨论：若正确地选择了准则函数J(w,x)，则当权向量w是一个解时，J达到极小值（J的梯度为零）。由于权向量是按J的梯度值减小，因此这种方法称为梯度法（最速下降法）。为了使权向量能较快地收敛于一个使函数J极小的解，C值的选择是很重要的。若C值太小，则收敛太慢；若C值太大，则搜索可能过头，引起发散。 3.8.2 固定增量的逐次调整算法 过程说明：设已由前一步迭代得到w(k)的值。读入模式样本xk，判别wT(k)xk是否大于0。在示意图中，xk界定的判别界面为wT(k)xk=0。当w(k)在判别界面的负区域时， wT(k)xklt;0。校正： w(k+1)= w(k)+ xk ，这里取C=1。校正后， w(k+1)向量比w(k)向量更接近于模式xk所决定的正区域。 讨论：若模式是线性可分的，选择合适的准则函数J(w,x)，算法就能给出解。若模式不是线性可分的，算法的结果就会来回摆动，得不到收敛。 作业 采用梯度法和准则函数 式中实数bgt;0，试导出两类模式的分类算法。 3.8.3 最小平方误差(LMSE)算法 出发点：感知器算法只是当被分模式可用一个特定的判别界面分开时才收敛，在不可分情况下，只要计算程序不终止，它就始终不收敛。即使在模式可分的情况下，也很难事先算出达到收敛时所需要的迭代次数。这样，在模式分类过程中，有时候会出现一次又一次迭代却不见收敛的情况，白白浪费时间。为此需要知道：发生迟迟不见收敛的情况时，到底是由于收敛速度过慢造成的呢，还是由于所给的训练样本集不是线性可分造成的呢？最小平方误差(LMSE)算法，除了对可分模式是收敛的以外，对于类别不可分的情况也能指出来。 分类器的不等式方程 求两类问题的解相当于求一组线性不等式的解，因此，若给出分别属于ω1和ω2的两个模式样本的训练样本集，即可求出其权向量w的解，其性质应满足：wx?0,?x??1 T wx?0,?x??2，将属于ω2的模式乘以(-1)，可得对于全部模式都有wx?0的条 件。设两类模式的训练样本总数为N，写成增广形式，则有不等式组：Xw gt; 0式中： ?x1T???????T?x