模式识别第九讲-第七章 特征选择和提取.pptVIP

第七章 特征提取与特征选择 以前讨论分类器设计时，都假定模式的特征向量已经提取出来了（有多少特征确定了）。 特征选择和提取的任务是如何从许多特征中找出那些最有效的特征，把高维特征空间压缩到低维特征空间。 在一些书籍和文献中，在不完全相同的意义上使用特征提取和特征选择的术语。  例如“特征提取”，有的专指特征的形成过程，有的指对初始特征进行变换后得到有效特征的过程。   为了方便以后的讨论，我们把特征提取、特征选择的含义明确一下。 模式特征的产生过程一般包括以下步骤： 1．原始特征的形成：用仪表或传感器测量出来的一些特征量，或通过（对波形和图象）计算得到的一些特征，称为原始特征、原始测量或一次特征。 ? 2．特征提取：原始特征的数量很大，需要通过变换把高维特征空间降到低维空间，这时的特征叫二次特征，它们一般是原始特征的某种组合。 3．特征选择：从一组特征中，挑选它的一个子集，即一部分特征，来减少特征的个数，实现降维。 特征的提取和选择是人类的一项基本智能活动，从相关和不相关信息中找出主要因素。 这一节讨论基于主成分分析（primary component analysis, PCA）的特征提取方法。也称为K-L（Karhunen-Loeve）变换。  最具表示能力是指在进行变换并丢弃次要特征后，得到的新特征与原始高维特征的误差最小。 假定有一n维向量x，希望能用一个m（ n）维向量来近似x。这个m维向量由一组标准正交基{uj，j = 1，2，…，n}线性组合而成。 由于{uj，j = 1，2，…，n}是标准正交基，用 表示x时的误差为  ε = x - =   其中，yj = ujT x , j m 根据误差公式和基是标准正交的条件， ε = E[εT ε]   = E[（ ）（ ）] =    ε =   = 2(Ruj－ uj) = 0,  j = m+1，…,n上式说明uj必须是R的本征向量。（Re =λe）  前面的推导中，目标是使以原点为中心的特征向量，在变换并降维后误差最小。 如果目标是使以均值为中心的特征向量，在变换并降维后误差最小，则只需将相关矩阵R换成协方差矩阵K即可。  先求出协方差矩阵 K = E[(x-m)(x-m)T]  例1 三维观测向量的特征提取 有一三维观测向量，其协方差矩阵为? 3 -1 0 K = -1 3 0 0?????0 3? 它的特征值和特征向量为 λ1 = 4， λ2 = 3， λ3 = 2 1/ 0 1/  e1 = -1/ e2 = 0 e3 = 1/ 0 1 0 表示模式的特征和用于分类的特征的不同  例如，在描述人类时，两眼、嘴、两只手、两条腿……但是在区别东方人和欧洲人时，这些特征毫无用途。 前面所提取的特征是原来所有特征的线性组合。 各种搜索方法 最优的搜索方法 动态规划，分枝定界 * 7.1 引言 1.?特征的维数和特征的“好坏” 特征的好坏、多少（维数）对分类器的设计和性能有很大的影响。 具体哪些特征和所处理的具体问题有关，需用到问题领域的知识。 ?这一节研究一般的特征提取和选择的方法。  所谓最有效的特征指容易把类分开，或与原来特征的误差最小。 2.?几个术语的含义 需要尽可能多保留对分类或表示有利的信息，即二次特征要最有效。 要求这个特征子集最有利于分类，即不同类别的样本对这些特征而言分得较开。  模式识别的主要任务是判别、分类