线性判别函数.pptVIP

(3) 样本类间离散度 Fisher准则函数满足两个性质： (1) 投影后，各类样本内部尽可能密集，即总类内离散度 越小越好 (2) 投影后，各类样本尽可能离得远，即样本类间离散度 越大越好 Fisher准则函数为 越大越好 尽可能大 越小越好 Fisher准则函数 Fisher准则函数 是与训练样本向量、投影方向有关的非线性函数 2 求使Fisher准则函数到达最大的投影方向 w max 我们用Lagrange乘子法求 w 令上式中的分母等于非零的常数，即 Lagrange函数定义为 Lagrange乘子 对w求偏导，并令其为零 得 最优解 其中，w* 就是使Fisher准则函数取极大的解 因为Sw是非奇异的，即存在逆矩阵Sw-1 两边都左乘逆矩阵Sw-1，则 这是一个求矩阵 Sw-1 Sb 的本征值问题 这里我们不直接解本征值问题，而是进一步简化公式 令 得 标量 意义：Sb w* 总是向量 (m1-m2) 的方向上 因此有 则 忽视比例因子 R/λ ，得 这就是使Fisher准则函数取极大值得最优解，即我们要找得最好的投影方向 3 分类阈值与决策规则 通过定义Fisher准则函数和最大化准则函数，我们已经得到了最好的投影方向 w*。利用公式 我们可以将 d 维空间的样本集 X 映射成一维空间的样本集 Y 。剩下的问题是找出一个阈值 y0将两类样本分开 y0 如何选取 y0 ? (1) 投影后均值的中心点 y0 y0 (2) 利用类先验概率，修正均值的中心点 偏离先验概率大的类，靠近先验概率小的类 y0 (3) 投影后，全体样本均值 y0 (4) 如果投影后，两类样本是可分的（即没有样本混迭现象），取两类样本中最靠近的两个样本的中点 从有限的实验效果来看： (4) (1) (3) 好 差 Fisher线性判别分析的决策规则 对于某一个未知类别的样本向量 x 如果 则 否则 决策规则：对于某一个未知类别的样本向量 x 如果 则 否则 定义判别函数 4 Fisher线性判断分析的设计步骤 (1) 已知两类问题的样本集 X (2) 计算两个类的均值向量 mi (3) 计算样本类内离散度矩阵 Si 和总类内离散度矩阵 Sw (4) 求出最好投影方向 w*=Sw-1(m1-m2) (5) 选取一个合适的阈值 y0 设计一个非线性的判别函数 决策规则 在一维特征空间中，x b 和 x a 的样本属于ω1，b x a 的样本属于ω2 设计一个非线性判别函数 决策规则 令 则 称为广义线性判别函数 广义权向量 评述： 从理论上来说，对于任意判别函数，都可以利用泰勒级数来展开，取有限项得到高次判别函数。通过适当的变换，可以转化成广义线性判别函数。从而将一个复杂问题转化简单问题来解决。但是，实际应用中，可能导致维数的迅速增加，出现所谓的“维数灾难”问题（理论上可行、技术上不行） 令 广义线性判别函数的特例，称为线性判别函数的齐次简化 增广样本向量，所属空间称为 Y 空间 增广权向量或者广义权向量 决策面方程： 它通过 Y 空间（d+1维）的原点，但是，对 d 维子空间的划分与原始决策面方程（wTx+w0=0）对 X 特征空间的划分完全相同 X空间中决策面 Y空间中决策面 距离的代数度量 距离的代数度量 x1 x2 x1-5 =0 x1-5x2 =0 说明：在后面的讲课中，经常使用广义样本向量和广义权向量 Y 空间中某一点到新的超平面的代数距离是 与原来的距离有差别，主要原因是分母变大，其值会缩小 4.1.3 设计线性分类器的主要步骤 设计线性分类器：利用训练样本集建立线性判别函数或者广义线性判别函数，即确定线性判别函数中的权向量与阈值、或者广义线性判别函数中的广义权向量 设计线性分类器的关键是： 定义出一个适当的准则函数，准则函数的极值点对应于最好的权值向量与阈值（或者广义权向量）。这样，可以将分类器的设计转化成利用利用训练样本寻找准则函数的极值点的问题 设计线性分类器的主要步骤 (1) 有一组具有类别标志的样本集 根据将 xi 看成确定性观察值或者随机变量，相应地可以将上述样本集看成确定性样本集或者随机性样本集。有时，还需要将样本集 X 转化成增广样本集 Y (2) 根据实际情况，确定一个适当准则函数 J ，其必须满足两个条件： ① J 必须是样本集 X、权向量与阈值（或者广义权向量）的函数 ② J 的值要反映出分类器的性能，其极值则对应于“最好”的权向量与阈值（或者广义权向量），即“最好”的决策 (3) 用最优化技术求出准则函数的极值解 求出这些最佳权向量与阈值、或者广义权向量后，可以建立判别函数和决策规则，然后对未知类别的样本进行分类 线性分类器设计的流程 有类别