第四章线性判别函数1.ppt

+ + + + + + + + － － － － － － － － H1 H2 H7 H4 H3 H8 H5 H2 H1 H6 H7 H4 H3 H8 H5 H6 C 图 4.12 ⑷ I2中的元素已全部考虑过，现在再考虑I1中的第二个元素，令i1=5，用H5代替⑴中的H1，得 ⑸ 选I2中的第二个元素，i2=5，用H5代替⑵中　　 　的H2，得到 4.4.2解线性不等式组的搜索法 + + + + + + + + － － － － － － － － H1 H2 H7 H4 H3 H8 H5 H2 H1 H6 H7 H4 H3 H8 H5 H6 C 图 4.12 选i2=1，得 ⑹ 选i2=4，得 ⑺ 选i2=8，得 ⑻ 由此可得I2={1，4，8} 4.4.2解线性不等式组的搜索法 最后考虑I1中得第三个元素，取i1=7，从而得 + + + + + + + + － － － － － － － － H1 H2 H7 H4 H3 H8 H5 H2 H1 H6 H7 H4 H3 H8 H5 H6 C 图 4.12 ⑼ 由此可得I2={1，3，5}， ⑽ 选i2=1，得 选i2=3，得 ⑾ ⑿ 选i2=5，得 至此，搜索过程结束。 这是一个非穷举型搜索算法，它比E3中全部可能的搜索数目 要小得多。 在上面的12条棱的搜索过程中，可以看到最优解出现在 和 上，由此便可求得最优权向量 。 4.4.2解线性不等式组的搜索法 * 在变换空间里一个线性判别式是将该空间分割的超平面。在超空间正侧的点对应ω1类，负侧的对应于ω2类。此时。在x空间中的R1并不是单连通的 * 图5-7一个三维增广特征空间y和增广权向量a(在原点)。满足aTy=0的点集是一个穿过y空间原点的超平面(用红色表示)，这个平面垂直于a。这个平面在其原来的二维空间中不一定穿过原点(即立方体顶部虚线所示的判决边界)。因此存在一个增广权向最a，可以获得x空间中任意的判定线。 * 《模式分类》中3.8.2节P96-99 * Criterion n.(批评判断的)标准, 准据, 规范 * 牛顿算法对于已讨论过的二次误差函数是可用的，但是对于多层神经网络的非二次误差函数则不能使用。 * * 首先给出一个准则函数，然后用共轭梯度法求使准则函数取极值时的解向量a 。 用矩阵形式重写式aTy0所表示的不等式组， 4.4.1解线性不等式组的共轭梯度法 为使解更可靠，引入余量b 0，那么 规范化增广样 本矩阵 4.4.1解线性不等式组的共轭梯度法 对于(4-47)式可以定义准则函数 (4-47) N维向量 4.4.1解线性不等式组的共轭梯度法 如果 则 和 同号，因此， ，反之，如果有某些yi不满足 ，则 和 异号，因此， 。不满足的yi越多， 越大。 4.4.1解线性不等式组的共轭梯度法 显然， 取极小值时的a为最优解a*。并且在不等式组一致的情况下， ，在不等式组不一致情况下， 。 称为最小错分样本数准则1。 4.4.1解线性不等式组的共轭梯度法 共轭梯度算法的基本概念 设B是一个d×d阶对称正定矩阵，若有两个d维向量u和v使(u，Bv)=0，则称u和v对于矩阵B互为共轭。 显然，若u和v对于单位阵I互为共轭，则u和v正交，当x和y是B的本征向量时，有 (y，Bx)=(y,λx)=λ(y，x) = 0 因此，一个正定矩阵B的本征向量对于B互为共轭。 4.4.1解线性不等式组的共轭梯度法 共轭梯度算法就是以Ed空间中的一组对于B互为共轭的向量作为一维搜索方向，使二次正定函数 f(x) = b0+bTx+xTBx 达到极小值的最优化算法。 用共轭梯度法可以求得序列x0，x1，x2，…，使得 f (x0)≥f (x1)≥f (x2)≥… 可以证明，对于二次正定函数f (x)，最多用d步，就可以使序列{x}收敛于f (x)的极值解x*。 4.4.1解线性不等式组的共轭梯度法 因此，在沿d个(对于增广空间则为d+1个)互为共轭的向量进行一维搜索后，有可能达不到准则函数的最小值，即算法经过d(或d+1)步可能不收敛，这时就要重新开始计算，若用r表示重新开始的周期，则r = d(或d+1)。 由于 式定义的准则函数不是一个二次正定函数，而是一个分段二次正定函数， 4.4.1解线性不等式组的共轭梯度法