特征的选择与提取.ppt

K-L变换的产生矩阵 数据集KN={xi}的K-L变换的产生矩阵由数据的二阶统计量决定，即K-L坐标系的基向量为某种基于数据x的二阶统计量的产生矩阵的本征向量 K-L变换的产生矩阵可以有多种选择： x的相关函数矩阵R=E[xxT] x的协方差矩阵C=E[(x-μ) (x-μ)T] 样本总类内离散度矩阵： 特征提取 未知类别样本的K-L变换 用总体样本的协方差矩阵C=E[(x-μ) (x-μ)T]进行K-L变换，K-L坐标系U=[u1,u2,...,ud]按照C的本征值的下降次序选择 例：设一样本集的协方差矩阵是：求最优2x1特征提取器U解答：计算特征值及特征向量[V, D]=eig(C);特征值D=[24.736, 2.263]T,特征向量:由于λ1λ2，故最优2x1特征提取器此时的K-L变换式为： 特征提取 特征选择:=从原始特征中挑选出一些最有代表性、分类性能最好的特征进行分类。 要解决两个问题： 选择的标准，如可分离性判据 快速寻优算法 从D个特征中选取d个,共CdD种组合。若不限定特征选择个数，则共2D种组合－ 典型的组合优化问题 特征选择的方法： 是否直接考虑分类器性能 Filter方法：根据独立于分类器的指标J来评价所选择的特征子集S，在所有可能的特征子集中搜索出使得J最大的特征子集作为最优特征子集。不考虑所使用的学习算法。 Wrapper方法：将特征选择和分类器结合在一起，在分类过程中表现优异的的特征子集会被选中。 选择特征的顺序： 自下而上：特征数从零逐步增加到d。 自上而下：特征数从D开始逐步减少到d。 6.4 特征的选择 经典特征选择算法 许多特征选择算法力求解决搜索问题，经典算法有：?? 分支定界法: 最优搜索，效率比盲目穷举法高。 次优搜索： 单独最优特征组合法： 顺序前进法 顺序后退法 其他组合优化方法： 模拟退火法 Tabu搜索法 遗传算法 特征选择 单独最优特征组合 计算各特征单独使用时的可分性判据J并加以排队，取前d个作为选择结果 组合起来不一定是最优结果 当可分性判据对各特征具有(广义)可加性，该方法可以选出一组最优的特征来，例： 各类具有正态分布 各特征统计独立 可分性判据基于Mahalanobis距离 特征选择 [W,R] = FEATSELI(A,CRIT,K,T) 特征选择 INPUT A Training dataset CRIT Name of the criterion or untrained mapping (default: NN, i.e. the 1-Nearest Neighbor error) K Number of features to select (default: sort all features) T Tuning dataset (optional) OUTPUT W Feature selection mapping R Matrix with criterion values DESCRIPTION Individual selection of K features using the dataset A. CRIT sets the criterion used by the feature evaluation routine FEATEVAL. If the dataset T is given, it is used as test set for FEATEVAL. For K = 0 all features are selected, but reordered according to the criterion. The result W can be used for selecting features using B*W. 顺序前进法Sequential forward selection 自下而上搜索方法。 每次从未入选的特征中选择一个特征，使得它与已入选的特征组合在一起时所得的可分性或分类识别率为最大，直至特征数增加到d为止。 该方法考虑了所选特征与已入选特征之间的相关性。 特征选择 [W,R] = FEATSELF(A,CRIT,K,T,FID) Forward selection of K features using the dataset A. CRIT sets the criterion used by the feature evaluation routine FEATEVAL. 顺序后退法Sequential backw. selection 该方法根据特征