张素文-第3章线性判别函数学案.ppt

即 称 为Fisher变换函数 2) 求B的迭代式： 利用梯度法中的(3.5-2)式 有： ②代入： 令 ，定义 #1 ④ 3) 求W(k+1)的迭代式：将④代入③式 有： #2 式中： ② =0 设初值B(1)，须使其每一分量都为正值。 …… W(k+1)、B(k+1)互相独立，均只与 有关。故迭代式中也可先算B(k+1)，然后按 来计算，即： …… 求出B、 W后，再迭代出下一个 ，从而计算出新的B、 W。 总结LMSE算法迭代式： ③ #2 ④ #1 三、模式类别可分性的判别及算法的特点： （一）可分性判别 ② 如果 ，这时隐含 ，有解。如继续迭代， 可使 。 ③ 如果 的所有分量为负数或零（但不是全部为零），停止迭代，无解。此时若继续迭代下去，数据不再发生变化。 可以证明：当模式类线性可分，且校正系数c满足 时，该算法收敛，可求得解W。 理论上不能证明该算法到底需要迭代多少步才能达到收 敛，通常在每次迭代计算后检查一下 和误差向量 ， 从而可以判断是否收敛。 ① 如果 或 （即 ），有解。 分以下几种情况： 关于③的说明： 通过反证法可以证明：在线性可分情况下，算法进行过程中不会出现 的分量全为负的情况；若出现 的分量全为负，则说明模式类线性不可分。 b) 所有分量为非正，继续迭代数据无变化的情况分析： ③ 如果 的所有分量为负数或零（但不是全部为零），停止迭代，无解。此时若继续迭代下去，数据不再发生变化。 或 综上所述：只有当 中有大于零的分量时，才需要继续迭 代，一旦 的全部分量只有0和负数，则立即停止。事实上，往 往早在 全部分量都达到非正值以前，就能看出其中有些分量 向正值变化得极慢，可及早采取对策。 （二）算法特点 除了对可分模式是收敛的以外，对于线性不可分的模式，在 算法迭代过程中就可明确的表示出来。 例1：已知两类模式训练样本： 解：1）写出增广矩阵： 2）求伪逆矩阵 求逆矩阵： 若 ，则 是 的代数余子式，注意两者的行和列的标号互换。 |A|——A的行列式 A*——A的伴随矩阵 代数余子式定义： 划去aij所在的行和列的元素，余下元素构成的行列式做aij的余子式，记作Mij ，将 叫做元素aij的代数余子式。例： 行列式: 3）开始迭代：取 和c=1. 故W(1)就是解，即判断函数为： 图示如下： 例2：已知模式训练样本： 2）求 ： 解：1）增广矩阵： 3）迭代：取 和c=1. 全部分量为负，无解，停止迭代。为线性不可分模式。 可以看出： 2）算法尽管略为复杂一些，但它提供了线性可分的测试特征， 并且收敛速度也比前面的梯度法（包括感知器算法）要快一些。 1）LMSE算法的明显缺点是需要对矩阵 求逆，好在一个分 类问题，只要进行一次求逆。此外，当新的一行加入X中时（即 新的模式样本加入），逆矩阵有迭代算法。 小结： 1、感知器法、梯度法、最小平方误差算法讨论的分类算法 都是通过模式样本来确定判别函数的系数，所以要使一个分 类器设计完善，必须采用有代表性的数据，训练判别函数的 权系数。它们能合理反映模式数据的总体。 2、要获得一个有较好判别性能的线性分类器，所需要的训练 样本的数目的确定。 用指标二分能力Ck来决定训练样本的数目： 通常训练样本的数目不能低于Ck，选为 Ck的10~20倍左右。 二维：不能低于6个样本，最好选在60~120个样本之间。 三维：不能低于8个样本，最好选在80~160个样本之间。 k为模式维数 如 复习：LMSE算法 1、算法过程 ① 由已知类别的样本写出增广矩阵X，求出 ，设B(1)、c初值，B(1)每一分量必须全为正值。 ② 迭代计算： ③ 核查一下XW(k)、 ，确定继续迭代或停止。 ④ 若继续，计算 或 回到② 2、可分性判别 综上所述：只有当 中有大于零的分量时，才需要继续迭代，一旦 的全部分量只有0和负数，则立即停止。 ② 如