9-第五章_ 特征选择【DOC精选】.docVIP

第五章 特征选择（降维） （1）降维必须保证类别的可分离性或分类器的性能下降不多。 度量类别可分离性的量有： 欧氏距离（正态分布，协方差相等，且为单位阵） 马氏距离（正态分布，协方差相等） 巴氏距离（正态分布，协方差不等） 分散度（广义距离） （2）降维为抓主要矛盾，具有片面性，算法不具有普适性。 （3）图像处理：图像压缩； 模式识别：特征选择； 相同点：都是用低维数据来表示高维数据； 不同点：IP强调最优描述，PR强调最优区分。 §1 维数问题和类内距离 1] 维数问题 维数增加意味着计算量和存储量的增加。 维与维之间不一定相互独立，具有相关性，存在数据冗余。 盲目增加维数对提高分类器性能有可能有害无益。 一般，维数增加，信息量有所增加，增加的信息量不一定有益，好理解，但是否有害，需要解释。 维数增加，意味着待估的参数也会随之增多，而训练样本往往是有限的，用有限的训练样本估计较大维数的参数，其可行性和准确性都是难以保证。 2] 类内距离（类平均距离） 某一类别内，所有样本间相互距离之和的平均值。 注释：K为点集中点的个数；为的第k个分量。 = = 其中： = = = 各分量有偏方差： 无偏方差： 结论：类内距离为类协方差矩阵迹之和的2倍。 则：某类样本－协方差矩阵—协方差矩阵的迹－迹小，表示类内距离小，类抱得比较紧；反之，类抱得比较松。 §2 聚类变换－沿着类内距离比较小的方向降维 聚类算法认为类内距离比较小的方向，即方差较小的方向，数据可靠稳定；而类内距离比较大的方向，即方差较大的方向，数据起伏较大，由噪声引起。 第一步：分解协方差矩阵C： 升序排列： 括号内为丢弃的特征值 变换后： 最小。 第二步：加权－对认为重要的特征加较大的权重；对认为不重要的特征加较小的权重： 使最小 约束条件：（a） （b） 转化为有约束的权值问题： （a） 得： （b） 总之，特征值小的加大权，特征值大的加小权。 1、类内 ， 按升序排列，取前m个，把前m个特征向量作为行向量，构成变换矩阵 2、加权：小，加权大；大，加权小 例：已知训练样本，， 3维2维1维，聚类变换，如图所示： 解： （1）估计m，C 得： （2）求特征值及对应得特征向量，并将特征值按升序排列 ：，； ，， （3）维： ，， ， ， ， ， 降为1维：， 降为2维 降为1维 缺点： §3 K-L变换 1] 最优描述的K-L变换－沿类间距离大的方向降维 I.P.中的KL变换： （1） （2）将特征值按降序排列，取前面大的特征值（保留能量大的成分），丢掉后面小的n-m个特征值，损失的均方误差最小。 将C改为混合分布的自相关矩阵R， ， ， 比较：聚类：，取小； 最优描述的K-L；R，取大。 例： 解：1）， 2），； ，； ， 3）维 4）3—1维： 失败 聚类与K_L比较： 这种情况K_L较好 聚类比较好 2]最优区分的K_L变换（二类）－沿两类区分最大的方向降维 1． 2．白化： ， ， 3． 说明：与具有相同的特征向量 与特征值之和为1，即： 取远离0.5的特征值m个，使最大 4． 例： 1．（同上一例中的R） ， 2．白化 3． 取 4． 不适用的情况： 所有特征值都在0.5 但可通过坐标变换解决 10