第五章 特征选择（降维）.docVIP

第五章 特征选择（降维） §4 分散度 类别可分离 分散度降低不大，则认为降维有效 1] 分散度的概念 解释A． 若j固定，则越大，越容易把i类与j类区分开来 对于从i来的x，把i类和j类分开的平均信息 对于从j来的x，把j类和i类分开的平均信息 第i类与第j类分开的总的平均分类信息 解释B． 2]正态分布时分散度公式 其中: 积分后变为 等协方差 等期望， 3]分散度的性质 1）（当且仅当i=j， 反身性） 2）（对称性） 3）若X的各个分量独立，则分散度为各个分量分散度之和 4）若X的各个分量不独立，则加一个分量，分散度只增不减 （a） （b） （c） 性质：1） 2） 3） = 总的分散度=各个分量分散度之和（前提：各分量独立） 4] 分散度用于特征选择 优于 (1)简单的从n个特征中挑选m个，不做任何变换 例：卫星照片，4个谱 4个光谱下的反射系数，从中挑2个谱来分类后，共M类还能分开 解：(1) M类 估计 计算次，找出最小的，即靠的最近的两类 (2)降维，降成二维 各种降维可能组合中取max，此时的m, C取相应的行和列构成。 如；则挑选；舍去 如果分散度还是很大，则降维效果很好，如果变得很小，则考虑降成三维 (2)正态分布,各类协方差相等,把坐标转到C的特征向量位置后进行降维 把坐标转到C的特征向量位置，即变换矩阵由协方差矩阵的特征向量作为行向量构成。即： C：， 取大的，舍弃小的。（不考虑分子，同于与聚类变换。） 为在方向上投影长度的平方。 两中心距离为 (3)最佳变换阵A的求法 正态 其中：1） 2） 3） 解： A. 【结论】在协方差相等的情况下，可以降到1维也不减少分散度。 证：设： 则： 代入G＝0得 是非零特征值对应的特征向量。 验证： B. 【结论】变换矩阵可以由的特征矢量中任取m个来构成。 证： 有： 又： 且 故取 ，其中1为第k个分量 得： 证毕。 怎么构成？ 其中是的特征值（是可求得） 选取中使得最大的m个特征值的特征向量构成A. 10