作业三：判别函数.docVIP

在解决实际问题时，类条件概率密度很难求出，用非参数估计方法又需要大量的样本。实际上我们可以不求，而是利用样本集直接设计分类器，也就是先给定某个判别函数类，然后利用样本集确定判别函数中的未知参数。这种方法针对不同的要求，所设计出的分类器应尽可能地满足这些要求，这个“尽可能好”的结果对应于判别准则函数取最优值。 Bayes分类器，是使错误率或风险达到最小的分类器，通常称这种分类器为最优分类器。相对而言其它准则函数下得到的分类器就是‘次优’的了。采用线性判别函数所产生的错误率或风险虽然比Bayes分类器要大，但是线性判别简单、易实现、且需要的计算量和存储量小，所以线性判别函数是统计模式识别的基本方法之一，也是实际中最常用的方法之一。 例：有4个训练样本如下： 类：(0，0)T，(0，1)T 类：(1，0)T，(1，1)T。 其分布如下图所示，用感知器算法求其判别函数。 分析：准则函数可选取为：。显然只要满足，则该准则函数均能达到最小值，此时有，因此得到最优解。该算法中，① 若且或，且，则不需要修正。即；② 反之则予以修正：若且，则；若且，则。 解：将模式特征向量写成增广向量形式。 x1=(0,0,1)T , x2=(0,1,1)T , x3=(1,0,1)T , x4=(1,1,1)T 取，。 第一步，开始迭代：=(0,0,0)=0，，，条件不满足，需要修正。=。 第二步，输入样本，，=(0,0,1)=10，满足条件，。 第三步，输入样本，，=(0,0,1)=10，修正：，。 第四步，输入样本，，=(－1,0,0)=－10，不修正：。 第五步，循环迭代，输入样本， 第六步，输入样本，，不修正：。 第七步，输入样本，，修正： 第八步，输入样本，，不修正：。 的各次迭代值仍未收敛，再次进行迭代。 第九步，输入样本，，不大于0，修正：。 第十步，输入样本，，。 第十一步，输入样本，， 第十二步，输入样本，，不修正：。 此时，、、分类全部正确，再检查的分类： ，故。 至此，，且全部分类正确，故解向量，判别函数。