模式识别_第4讲_2.pptVIP

4.4 最小错分样本数准则 感知准则函数及其梯度下降算法只适用于线性可分情况。对于线性不可分情况，迭代过程永远不会终结，即算法不收敛。 x1 X4 (1,1) X2 (1,0) X1 (0,0) X3 (0,1) x2 x1 X4 (1,1) X2 (1,0) X1 (0,0) X3 (0,1) x2 在实际问题中往往无法事先知道样本集是否线性可分，因此，希望找到一种既适用于线性可分情况，又适用于线性不可分情况的算法。 这种算法具有特点： 对于线性可分问题，可以得到一个如感知准则函数那样的解向量a*，使得对两类样本集做到将全部样本正确分类； 对于线性不可分问题，则得到一个使两类样本集错分数目最少的权向量a，记为a*。 这样的算法准则称为最小错分样本数准则。 目前已提出不少最优化这种准则的算法，这里仅介绍两种算法。 两种算法：解线性不等式组的共轭法/搜索法 前者定义的准则为(4-49)式，后者定义的准则为(4-57)式； d维向量样本集{x1，x2，…，xN},变成增广向量样本集{y1，y2，…，yN},再通过 得到规范化增广样本向量，线性判别函数可写作： 如果存在权向量a，使得下式成立 则y’n被正确分类。对单个样本y’n存在线性不等式解。 设计线性分类器可以看成求一组N个线性不等式的解的问题： 若不等式组有解，即不等式组存在公共解(相一致的情况)，说明样本集是线性可分的，找到