模式识别特征选择和提取.pptx

1; 特征选择和提取; 特征选择和提取; 特征选择和提取; 特征选择和提取; 特征选择和提取; 特征选择和提取;7.1 模式类别可分性的测度;7.1 模式类别可分性的测度;类别可分离性判据：衡量不同特征及其组合对分类是否有效的定量准则 理想准则：某组特征使分类器错误概率最小 实际的类别可分离性判据应满足的条件： 度量特性： 与错误率有单调关系 当特征独立时有可加性： 单调性： 常见类别可分离性判据：基于距离、概率分布、熵函数;类间可分性:=所有样本间的平均距离：;基于距离的准则概念直???，计算方便，但与错误率没有直接联系;7.2 特征选择;特征选择:=从原始特征中挑选出一些最有代表性、分类性能最好的特征进行分类。 从D个特征中选取d个,共CdD种组合。若不限定特征选择个数，则共2D种组合－ 典型的组合优化问题 特征选择的方法大体可分两大类： Filter方法：根据独立于分类器的指标J来评价所选择的特征子集S，然后在所有可能的特征子集中搜索出使得J最大的特征子集作为最优特征子集。不考虑所使用的学习算法。 Wrapper方法：将特征选择和分类器结合在一起，在学习过程中表现优异的的特征子集会被选中。;经典特征选择算法;单独最优特征组合;顺序前进法;顺序后退法;遗传算法;遗传算法;6.5 讨论;7.2 特征选择;7.2 特征选择;7.2 特征选择;7.2 特征选择;作业;7.3 离散K-L变换;6.3 特征提取与K-L变换;K-L变换;离散K-L变换的均方误差;求解最小均方误差正交基;求解最小均方误差正交基;K-L变换的表示;K-L变换的性质;K-L变换的性质;K-L变换的数据压缩图解;K-L变换的产生矩阵;未知类别样本的K-L变换;7.3 离散K-L变换;7.3 离散K-L变换;7.3 离散K-L变换;7.3 离散K-L变换;7.3 离散K-L变换;7.3 离散K-L变换;7.3 离散K-L变换;作业