.3-线性分类器.pptVIP

由于感知器准则及其梯度下降算法只适用于线性可分 情况，对于线性不可分情况，迭代过程永远不会终结， 即算法不收敛，实际问题事先无法确定是否线性可分。 希望得到一种对两种情况都可用的线性判别算法： 对线性可分问题，可得到一个如感知器准则函数 那样的解向量； 对线性不可分问题，能够得到一个使某种度量误差 （或损失）的准则函数达到最小值的解向量。 * 1. 最小平方误差准则函数 设yi. i = 1,2,…,N为规范化增广样本,w为增广权向量, 对两类线性可分问题,有 写成向量形式 Y w = b, 其中 通常样本数N总是小于维数d,这实际上是方程个数多 于未知变量个数的情况,因此一般为矛盾方程组,通常 没有精确解. b是事先给定的常数,与样本集无关. * 但我们可以定义一个误差向量 并定义平方误差准则函数 然后找一个使J(w)极小化的w作为问题的解,此解是方 程组的最小二乘法近似解,也称为伪逆解或称为MSE解 令 得 Y+是Y的左逆矩阵,w就是MSE解 * MSE解的性质 1)同Fisher判别法的关系 时,MSE解等价于Fisher解 可以证明,当取 判别规则为 其中 * 2)对贝叶斯判别函数的渐近逼近 则当N→∞,且a等于MSE 解 w时 取 设贝叶斯判别函数为 即wTy以最小均方误差逼近贝叶斯判别函数 最小 * 2. MSE准则函数的算法 利用最小二乘法求得的MSE解w需要计算矩阵Y的左逆 Y+= (YTY) -1Y由此带来两个问题: 1 ) 要YTY求矩阵可逆,若YTY不可逆,将得不到解. 2 ) 计算量大,同时可能引入较大的计算误差. 实际应用中,往往不用这样得解析方法求MSE解,而是 梯度下降算法等最优化技术来求解. * Widrow-Hoff算法 J(w)的梯度为 则该算法得到的权向量序列wk收敛于w,使 可以证明,如果选择 任意 则梯度算法可写成: w(1)任意 无论矩阵是否可逆,该算法总能产生一个有用的权向量 且计算量小的多. * 作业3 1. 对二维线性判别函数 (1) 将判别函数写成 并画出g(x)=0的图形 (2) 将判别函数写成 2. 对两类情形证明: 若各类服从正态分布且协方差 矩阵相等,则Fisher判别等价于Bayes判别. * 3.2 最小距离准则 最小欧氏距离准则 最小马氏距离准则 * 1.最小欧氏距离准则 d 维空间中两个向量之间的欧氏距离 设 x = ( x 1 , x 2 , … , x d)T , y = (y 1 , y 2 , … , y d )T 则x, y之间的欧氏距离D为 D 2 = (x －y ) T ( x － y) 同类模式在模式空间中应相互靠近, 根据这一特点, 我们可利用距离最小准则来设计分类器 设有m 类已知类别的模式(样本)集。计算ω i类中所有样本的均值 μ i, 记样本x到ω i类的距离为 D i( x) = (x － μ i) T ( x － μ i) , i = 1, 2, …, m * 按最小距离分类原理，决策规则为 若D i(x) D j (x) , j≠i , j＝l，2，…, .m 则判x属于ω i类 l 2 3 ● ▲ ■ ★ 如图, 各类的中心用黑点表示 ★ 表示待判样本 D i( x) = (x － μ i) T ( x － μ i) = x T x － 2 μ i T x ＋ μ i T μ i 记 g i( x) = 2 μ i T x － μ i T μ i 显然, g i( x)为线性函数 决策规则为 若gi (x) gj (x) , j≠i , i, j＝l，2，…, .m 则判x属于ω i类 * 最小欧氏距离分类器构造简便，使用方便, 但是分类效果常常不理想。分类效果不好的原因在于判别函数的权向量及阈值仅仅利用了各类样本的均值信息，而没有充分利用样本的其它信息。 从以上分析可知,最小欧氏距离分类器的判别函数可 用线性函数代替, g i( x) = 2 μ i T x － μ i T μ = wTx + w o 其中 w = 2 μ i T , w0 = － μ i T μ i 所以最小距离分类器实质上是线性分类器 * 2.最小马氏距离准则 设有m 类已知类别的模式(样本)集。 ω i类中所有样本的均值 μ i ，样本协方差矩阵为C i ωi ■ 样本x到ω i类的马氏距离为 D i( x) = (x － μ i) T C i－1 ( x － μ i) , i = 1, 2, …, m 按最小距离分类原理，决策规则为 若D i(x) D j (x) ,则判x属于ω i类 j ≠ i , j＝l，