(十二)线性判别分析.pdfVIP

线性判别分析（Linear Discriminant Analysis ） JerryLead csxulijie@ 1. 问题 之前我们讨论的PCA、ICA 也好，对样本数据来言，可以是没有类别标签y 的。回想我 们做回归时，如果特征太多，那么会产生不相关特征引入、过度拟合等问题。我们可以使用 PCA 来降维，但PCA 没有将类别标签考虑进去，属于无监督的。 比如回到上次提出的文档中含有“learn”和“study ”的问题，使用PCA 后，也许可以 将这两个特征合并为一个，降了维度。但假设我们的类别标签y 是判断这篇文章的topic 是 不是有关学习方面的。那么这两个特征对y 几乎没什么影响，完全可以去除。 再举一个例子，假设我们对一张 100*100 像素的图片做人脸识别，每个像素是一个特 征，那么会有10000 个特征，而对应的类别标签y 仅仅是0/1 值，1 代表是人脸。这么多特 征不仅训练复杂，而且不必要特征对结果会带来不可预知的影响，但我们想得到降维后的一 些最佳特征（与y 关系最密切的），怎么办呢？ 2. 线性判别分析（二类情况） ( ) ( ) ( ) 回顾我们之前的logistic 回归方法，给定m 个n 维特征的训练样例 () *1 , 2 , …, +（i 从1 到m），每个 () 对应一个类标签 () 。我们就是要学习出参数θ，使得 () = g(θ) () （g 是sigmoid 函数）。 现在只考虑二值分类情况，也就是y=1 或者y=0 。 为了方便表示，我们先换符号重新定义问题，给定特征为 d 维的 N 个样例， ( ) ( ) ( ) () * , , …, + ，其中有N 个样例属于类别ω ，另外N 个样例属于类别ω 。 1 2 1 1 2 2 现在我们觉得原始特征数太多，想将d 维特征降到只有一维，而又要保证类别能够“清 晰”地反映在低维数据上，也就是这一维就能决定每个样例的类别。 我们将这个最佳的向量称为w （d 维），那么样例x （d 维）到w 上的投影可以用下式来 计算 y = 这里得到的y 值不是0/1 值，而是x 投影到直线上的点到原点的距离。 当x 是二维的，我们就是要找一条直线（方向为w ）来做投影，然后寻找最能使样本点 分离的直线。如下图： 从直观上来看，右图比较好，可以很好地将不同类别的样本点分离。 接下来我们从定量的角度来找到这个最佳的w 。 首先我们寻找每类样例的均值（中心点），这里i 只有两个 = 1 ∑ ∈ 由于x 到w 投影后的样本点均值为 1 1 ̃ = ∑ = ∑ =