3第三章节线性判别函数.ppt

第三章 线性判别函数 郝红卫 第三章 线性判别函数 3.1 引言 3.2 线性判别函数和决策面 3.3 广义线性判别函数 3.4 两类线性可分情况 3.5 梯度下降算法 3.6 感知准则函数最小化 3.7 松弛算法 3.8 最小平方误差方法 引 言 贝叶斯公式中需要知道类条件概率密度函数和先验概率 在实际中，我们通常只能得到有限数目的样本 因此，分类器的设计过程可以分为两步： 利用样本集估计先验概率和类条件概率密度函数 将估计值代入贝叶斯公式，完成分类器设计 引 言 先验概率的估计： 比较容易。 比如，癌细胞识别中，可以根据细胞病理检查的统计结果得到正常与异常的大致比例。 密度函数的估计： 非常困难。只能根据样本进行估计。 引 言 解决的思路： 迎难而上 参数估计：假定密度函数是种分布，即分布形式已知但参数未知，通过训练样本估计分布的参数 比如，假定分布为正态，可以利用样本估计其均值和方差。 非参数方法：分布的形式未知，直接通过样本估计密度函数的形式和参数 另辟蹊径 引 言 在对正态分布下贝叶斯决策理论的讨论中，我们看到，在正态假设下，可以得到一些简单方便的判别函数。如：最小距离，线性判别函数。 我们可以绕过对密度的估计，直接得到判别函数 在所有的判别函数中，最简单的是线性判别函数 引 言 线性判别函数的优点： 特定条件下为最优 正态、独立、等方差，可以通过对特征的选择来达到 相对简单，容易实现 牺牲精度，享受简便——性能和代价的折中 是复杂方法的基础 线性判别函数中的基本方法可以推广到非线性判别函数中 引 言 思路： 假定判别函数的形式已知：线性判别函数 未知的是判别函数的参数 参数由样本约束：合适的参数将使错误率最小 通过训练样本确定其参数：找出使训练样本错误率最小的参数——最优化方法 引 言 设计线性分类器的主要步骤： 根据需求确定准则函数，使准则函数的值反映分类器的性能（如错误率），其极值解对应最优决策 用最优化技术求出准则函数的极值解 将该极值解代入线性判别函数的表达式中，完成分类器的设计 线性判别函数和决策面 线性判别函数是x各分量的线性组合： g(x) = wtx + w0 其中 x = (x1, x2, …, xd)t 是d维特征向量 w = (w1, w2, …, wd)t 是d维权向量（weight vector） w0 为常数，称为偏置 （bias）或阈值权（threshold weight） 线性判别函数和决策面 通常，我们需要设计c个判别函数，分别与c个类别相对应 先来看两类的情况： Decide ?1 if g(x) 0 and ?2 if g(x) 0 ↓ Decide ?1 if wtx -w0 and ?2 otherwise 线性判别函数和决策面 线性判别函数和决策面 方程 g (x)=0 定义了一个决策面，它将分属两类的样本分开。假设x1和x2都在决策面H上，则有： wtx1+w0 = wtx2+w0 wt(x1-x2)=0 这表明，w和超平面H上任一向量正交，即w是H的法向量。 超平面H将特征空间分成两部分，即对?1类的决策域R1和对?2类的决策域R2。 由于当x在R1中时，g (x) 为正，所以法向量是指向R1的，故称R1中的x在H的正侧，称R2中的x在H的负侧。 线性判别函数和决策面 判别函数g (x)是特征空间中某点到超平面距离的一种代数度量。如图所示： 线性判别函数和决策面 可以将x表示成 其中 xp： 是x在H上的投影向量 r： 是x到H的垂直距离 w/||w||： 是w方向上的单位向量 线性判别函数和决策面 代入g (x) ： 或写作： 线性判别函数和决策面 若x为原点，则 g(x) = w0 因此原点到超平面H的距离为 r0 = w0 / ||w|| 总之，利用线性判别函数进行分类，就是用一个超平面把特征空间分割成两个决策区域。