中科院模式识别第3次(第5章)作业答案更多.docxVIP

第5章：线性判别函数 第一部分：计算与证明 有四个来自于两个类别的二维空间中的样本，其中第一类的两个样本为(1,4)T和(2,3)T，第二类的两个样本为(4,1)T和(3,2)T。这里，上标T表示向量转置。假设初始的权向量a=(0,1)T，且梯度更新步长?k固定为1。试利用批处理感知器算法求解线性判别函数g(y)=aTy的权向量。 解： 首先对样本进行规范化处理。将第二类样本更改为(4,1)T和(3,2)T. 然后计算错分样本集： g(y1) = (0,1)(1,4)T = 4 0 　　　(正确) g(y2) = (0,1)(2,3)T = 3 0 　(正确) g(y3) = (0,1)(-4,-1)T = -1 0 (错分) g(y4) = (0,1)(-3,-2)T = -2 0 (错分) 所以错分样本集为Y={(-4,-1)T , (-3,-2)T }. 接着，对错分样本集求和：(-4,-1)T+(-3,-2)T = (-7,-3)T 第一次修正权向量a，以完成一次梯度下降更新：a=(0,1)T+ (-7,-3)T=(-7,-2)T 再次计算错分样本集： g(y1) = (-7,-2)(1,4)T = -15 0 　　 (错分) g(y2) = (-7,-2)(2,3)T = -20 0 　 　(错分) g(y3) = (-7,-2)(-4,-1)T = 30 0 (正确) g(y4) = (-7,-2)(-3,-2)T = 25 0 (正确) 所以错分样本集为Y={(1,4)T , (2,3)T }. 接着，对错分样本集求和：(1,4)T+(2,3)T = (3,7)T 第二次修正权向量a，以完成二次梯度下降更新：a=(-7,-2)T+ (3,7)T=(-4,5)T 再次计算错分样本集： g(y1) = (-4,5)(1,4)T = 16 0 　　 (正确) g(y2) = (-4,5)(2,3)T = 7 0 　 　 (正确) g(y3) = (-4,5)(-4,-1)T = 11 0 (正确) g(y4) = (-4,5)(-3,-2)T = 2 0 (正确) 此时，全部样本均被正确分类，算法结束，所得权向量a=(-4,5)T。 在线性感知算法中，试证明引入正余量b以后的解区(aTyi?b)位于原来的解区之中(aTyi0)，且与原解区边界之间的距离为b/||yi||。 证明：设a*满足aTyi?b,则它一定也满足aTyi0，所以引入余量后的解区位于原来的解区aTyi0之中。 　注意，aTyi?b的解区的边界为aTyi=b,而aTyi0的解区边界为aTyi=0。aTyi=b与aTyi=0两个边界之间的距离为b/||yi||。（因为aTyi=0过坐标原点，相关于坐标原点到aTyi=b的距离。）　 试证明感知器准则函数正比于被错分样本到决策面的距离之和。 证明：感知器准则函数为： 　　　 　　　决策面方程为aTy=0。当y为错分样本时，有aTy?0。此时，错分样本到决策面的距离为aTy/||a||。所有样本到决策面的距离之和为 结论得证。 对于多类分类情形，考虑one-vs-all技巧，即构建 c 个线性判别函数： ， 此时的决策规则为：对 j ? i, 如果 gi(x) gj(x),　x 则被分类 ?i 类。现有三个二维空间内的模式分类器，其判别函数为 g1(x) = ?x1 + x2 g2(x) = x1 + x2 ?1 g3(x) = ?x2 试画出决策面，指出为何此时不存在分类不确定性区域。 解：根据上述决策规则，属于第一类 ?1的区域应满足： g1(x) g2(x) 且g1(x) g3(x) 所以?1的决策界面为： g1(x) ? g2(x) = ?2x1 + 1 = 0。 g1(x) ? g3(x) = ?x1 + 2x2 = 0。 同样地，属于第二类 ?2的区域应满足： g2(x) g1(x) 且g2(x) g3(x) 所以?2的决策界面为： g2(x) ? g1(x) = 2x1 ? 1 = 0。 g2(x) ? g3(x) = x1 + 2x2 ? 1 = 0。 属于第三类 ?3的区域应满足： g3(x) g1(x) 且g3(x) g2(x) 所以?2的决策界面为： g3(x) ? g1(x) = x1 ? 2x2 = 0。 g2(x) ? g3(x) = ?x1 ? 2x2 + 1 = 0。 g1(x) ? g2(x) =?2x1 + 1 = 0 下图给出了决策边界： ?2类判别区域 g3(x) ? g1(x) =x1 ? 2x2 = 0 g2(x) ? g3(x) =