模式识别-线性判别函数.ppt

* * * * * * * * 双曲余弦函数 * 双曲余弦函数 * 双曲余弦函数 令 判别界面 判别界面 x2=x1-1 x2=1-x1 * * * 简单证明后两点 W的方向决定分类界面，长度与分类界面无关，只与偏置大小有关。 * Gij(x)=-gji(x) * * * * * * * * 问题变为求解线性不等式组的问题 * * F.Rosenblatt(USA), 1957 * * * * η(k)的取法： η(k)=1， η(k)=1/k * 由上面的结果可以看出，经过对、、、一轮迭代后表明，使用已能对所有训练样本正确分类，增广权矢量的值不再变化，所以算法收敛于，就是所求的解向量，即。由此还可以得到区分界面为，即。 * 例题:已知训练样本(0,0)T??1，(1,1)T??2 ，(-1,1)T??3, 试求解向量w1、w2和w3。 k=3,xk=x3??3, 因为d3(x3)=-2d1(x3)=0，d3(x3)=d2(x3)=0，错分， 所以 w1(4)=w1(3)- x3=( 0,-2,-1)T w2(4)=w2(3)- x3=( 2, 0,-1)T w3(4)=w3(3)+ x3=(-2, 0,-1)T k=4,xk=x1??1, 因为d1(x1)=d2(x1)=-1，d1(x1)=d3(x1)=-1，错分， 所以 w1(5)=w1(4)+ x1=( 0,-2, 0)T w2(5)=w2(4)- x1=( 2, 0,-2)T w3(5)=w3(4)- x1=(-2, 0,-2)T * 例题:已知训练样本(0,0)T??1，(1,1)T??2 ，(-1,1)T??3, 试求解向量w1、w2和w3。 k=5,xk=x2??2, 因为d2(x2)=0d1(x2)=-2，d2(x2)=0d3(x2)=-4，正确， 所以 w1(6)=w1(5)=( 0,-2, 0)T w2(6)=w2(5)=( 2, 0,-2)T w3(6)=w3(5)=(-2, 0,-2)T k=6,xk=x3??3, 因为d3(x3)=0d1(x3)=-2，d3(x3)=0d2(x3)=-4，正确， 所以 w1(7)=w1(6)=( 0,-2, 0)T w2(7)=w2(6)=( 2, 0,-2)T w3(7)=w3(6)=(-2, 0,-2)T * 例题:已知训练样本(0,0)T??1，(1,1)T??2 ，(-1,1)T??3, 试求解向量w1、w2和w3。 k=7,xk=x1??1, 因为d1(x1)=0d2(x1)=-2，d1(x1)=0d3(x1)=-2，正确， 三个权矢量不再变化，因此可以确定所有训练样本均已被正确分类， 由此得到三个解矢量：w1*=w1(5)，w2*=w2(5)，w3*=w3(5) 同时可得三个判别函数: d1(x) = -2x2 d2(x) = 2x1-2 d3(x) = -2x1-2 二次准则函数及其解法 问题： 一次准则函数及其算法（如感知器算法）只适用于线性可分的情况，如果是线性不可分的，分类过程将不收敛? 能否找到一种算法，使之能够测试出模式样本集是否线性可分，并且对线性不可分的情况也能给出“次最优”的解？ 如果训练模式是线性不可分?不等式组是不一致的，不等式组没解。此时，目标?最少的训练模式被错分。 （一）最小错分模式数目准则 对线性不可分样本集，求一解矢量使得错分的模式数目最少。 对于两类问题，设n+1维增广训练模式 已符号规范化。 如果训练模式是线性可分的，则存在权矢量 使不等式组 成立。 式中 是 矩阵。 将上面的不等式组写成矩阵方程形式，并引入N 维余量矢量 ，于是不等式方程组变为 （二）最小方差准则及W-H算法 针对方程组 ,构造方差准则函数 对于 ,此时的 , 而对于 ,此时的