特征选择及特征提取.pptVIP

模式识别原理与应用 专 业： 模式识别与智能系统 学生姓名： *** 任课教师： 余老师;一、基本概念;特征的形成;二、特征的选择与提取;特征的选择与提取举例;三、特征提取与K-L变换;特征值 ;特征向量 ;K-L变换;离散K-L变换的均方误差;求解最小均方误差正交基;K-L变换的表示;K-L变换的性质;K-L变换的性质;主成分分析 ( PCA ) ; 从几何意义来看，变换后的主分量空间坐标系与变换前的空间坐标系相比旋转了一个角度。而且新坐标系的坐标轴一定指向数据信息量较大的方向。以二维空间为例，假定某样本的分布呈椭圆状，那么经过旋转后，新坐标系的坐标轴一定分别指向椭圆的长半轴和短半轴方向——主分量方向，因为长半轴这一方向的信息量最大。 ;;;基于PCA构建特征脸空间是对图像进行K-L变换，以去除样本间的相关性，然后根据特征值的大小选择特征向量。 这种方法首先将人脸图像映射为高维空间的向量，然后应用基于统计的离散K-L变换方法，构造一个各分量互不相关的特征空间，即特征脸空间，再将人脸图像在高维空间中的向量映射到特征脸空间，得到特征系数。 ;;;;特征提取－LDA;LDA的思想: 寻找最能把两类样本分开的投影直线. LDA的目标: 使投影后两类样本的均值之差与投影样本的总类散布的比值最大 . LDA的求解: 经过推导把原问题转化为关于样本集总类内散布矩阵和总类间散布矩阵的广义特征值问题. ;多重判别分析 (MDA);线性方法的缺点;几种流形学习算法;;特征选择:=从原始特征中挑选出一些最有代表性、分类性能最好的特征进行分类。 从D个特征中选取d个,共CdD种组合。－ 典型的组合优化问题 特征选择的方法大体可分两大类： Filter方法：根据独立于分类器的指标J来评价所选择的特征子集S，然后在所有可能的特征子集中搜索出使得J最大的特征子集作为最优特征子集。不考虑所使用的学习算法。 Wrapper方法：将特征选择和分类器结合在一起，即特征子集的好坏标准是由分类器决定的，在学习过程中表现优异的的特征子集会被选中。;一种Filter算法: FOCUS;经典特征选择算法;??序前进法;顺序后退法;遗传算法;遗传算法;;模拟退火法;假设材料在状态i的能量为E(i)，那么材料在温度T时从状态i进入状态j遵循如下规律： 如果E(j) ≤E(i)，接受该状态被转换。 如果E(j)E(i)，则状态转换以如下概率被接受： ;模拟退火法(II);模拟退火法(III);模拟退火法(IV);模拟退火法(V);特征选择的模拟退火法