中科院模式识别第三次(第五讲)_作业_答案_更多.docxVIP

第5章：线性判别函数第一部分：计算与证明有四个来自于两个类别的二维空间中的样本，其中第一类的两个样本为(1,4)T和(2,3)T，第二类的两个样本为(4,1)T和(3,2)T。这里，上标T表示向量转置。假设初始的权向量a=(0,1)T，且梯度更新步长k固定为1。试利用批处理感知器算法求解线性判别函数g(y)=aTy的权向量。解：首先对样本进行规范化处理。将第二类样本更改为(4,1)T和(3,2)T.然后计算错分样本集：g(y1)=(0,1)(1,4)T = 4 0 　　　(正确)g(y2)=(0,1)(2,3)T = 3 0 　(正确)g(y3)=(0,1)(-4,-1)T = -1 0 (错分)g(y4)=(0,1)(-3,-2)T = -2 0 (错分)所以错分样本集为Y={(-4,-1)T ,(-3,-2)T }.接着，对错分样本集求和：(-4,-1)T+(-3,-2)T= (-7,-3)T第一次修正权向量a，以完成一次梯度下降更新：a=(0,1)T+ (-7,-3)T=(-7,-2)T再次计算错分样本集：g(y1)=(-7,-2)(1,4)T = -15 0 　　(错分)g(y2)=(-7,-2)(2,3)T = -20 0 　　(错分)g(y3)=(-7,-2)(-4,-1)T = 30 0 (正确)g(y4)=(-7,-2)(-3,-2)T = 25 0 (正确)所以错分样本集为Y={(1,4)T ,(2,3)T }.接着，对错分样本集求和：(1,4)T+(2,3)T= (3,7)T第二次修正权向量a，以完成二次梯度下降更新：a=(-7,-2)T+ (3,7)T=(-4,5)T再次计算错分样本集：g(y1) = (-4,5)(1,4)T = 16 0 　　 (正确)g(y2) =(-4,5)(2,3)T = 7 0 　　 (正确)g(y3) =(-4,5)(-4,-1)T = 11 0 (正确)g(y4) =(-4,5)(-3,-2)T = 2 0 (正确)此时，全部样本均被正确分类，算法结束，所得权向量a=(-4,5)T。在线性感知算法中，试证明引入正余量b以后的解区(aTyib)位于原来的解区之中(aTyi0)，且与原解区边界之间的距离为b/||yi||。证明：设a*满足aTyib,则它一定也满足aTyi0，所以引入余量后的解区位于原来的解区aTyi0之中。　注意，aTyib的解区的边界为aTyi=b,而aTyi0的解区边界为aTyi=0。aTyi=b与aTyi=0两个边界之间的距离为b/||yi||。（因为aTyi=0过坐标原点，相关于坐标原点到aTyi=b的距离。）　试证明感知器准则函数正比于被错分样本到决策面的距离之和。证明：感知器准则函数为：　　　　　　决策面方程为aTy=0。当y为错分样本时，有aTy0。此时，错分样本到决策面的距离为aTy/||a||。所有样本到决策面的距离之和为结论得证。对于多类分类情形，考虑one-vs-all技巧，即构建c 个线性判别函数：，此时的决策规则为：对j i, 如果gi(x) gj(x),　x 则被分类i类。现有三个二维空间内的模式分类器，其判别函数为g1(x) = x1+ x2g2(x) = x1+ x21g3(x) = x2试画出决策面，指出为何此时不存在分类不确定性区域。解：根据上述决策规则，属于第一类1的区域应满足：g1(x) g2(x)且g1(x) g3(x)所以1的决策界面为：g1(x)g2(x) = 2x1 + 1 = 0。g1(x)g3(x) = x1 + 2x2 = 0。同样地，属于第二类2的区域应满足：g2(x) g1(x)且g2(x) g3(x)所以2的决策界面为：g2(x)g1(x) = 2x1 1 = 0。g2(x)g3(x) = x1 + 2x2 1= 0。属于第三类3的区域应满足：g3(x) g1(x)且g3(x) g2(x)所以2的决策界面为：g3(x)g1(x) = x12x2 = 0。g2(x)g3(x) = x12x2+ 1= 0。下图给出了决策边界：由于三个决策边界交于一点，因此，不存在不确定性区域。这是因为直线g1(x)g2(x)=0与直线g1(x)g3(x)=0的交点一定位于　g1(x)g2(x)(g1(x)g3(x)) = g2(x)g3(x) =0的直线上，即g2(x)g3(x) =0过它们的交点。已知模式样本集：1 = {(0,0)T, (1,1)T}, 2 = {(0,1)T, (1,0)T}。采用误差平方准则算法（即Ho-kashyap算法）验证它是线性不可分的。（提示：迭代时k固定取1,初始b=(1,1,1,1)T）解：