模式识别 课件 第9章 特征提取.pptx

第9章特征提取

主要内容9.1概述9.2基于类别可分性判据的特征提取9.3K-L变换9.4其他降维方法简介

对研究对象进行观测，获取原始特征的过程称为特征提取，跟具体问题密切相关对原始特征进行映射，映射后降低维数，消除或减少特征之间的相关性，或改变表现形式，以利于分类，称为特征提取，也称作特征变换线性变换和非线性变换9.1概述特征提取

根据训练样本求适当的W，使某种特征变换的准则最优。9.1概述线性特征变换?关键：确定变换阵W非线性特征变换????????????????????????????????高维数据的低维可视化

9.2基于类别可分性判据的特征提取根据判据求解最优W核心思想例：基于散布矩阵可分性判据的特征提取??

9.2基于类别可分性判据的特征提取?提取过程仅取第一个特征值，即是Fisher线性判别法需要已知类别的数据，监督降维方法

9.2基于类别可分性判据的特征提取??例题

9.2基于类别可分性判据的特征提取?

9.2基于类别可分性判据的特征提取????

9.2基于类别可分性判据的特征提取简易解法：与前面所求只差一系数，降维后两类完全可分，只是特征比例变化

9.3K-L变换?

?用有限的m项来估计x，即：9.3K-L变换（1）定义均方误差推导

求均方误差取极值时的u?9.3K-L变换总结

例题自相关矩阵求特征值?9.3K-L变换

求特征向量变换矩阵U计算K-L变换9.3K-L变换

U为正交矩阵变换后的向量z的自相关矩阵，是对角矩阵，且对角元素就是x的自相关矩阵的特征值显然，通过K-L变换，消除了原有向量x的各分量之间的相关性，即变换后的数据z的各分量之间的信息是相互独立的。9.3K-L变换（2）K-L变换的性质

9.3K-L变换（3）信息量分析协方差矩阵作为产生矩阵??采用大特征值对应的特征向量组成变换矩阵，能对应地保留原向量中方差大的成分，K-L变换起到了减小相关性、突出差异性的效果，称之为主成分分析。n个互不相关的主成分包含了原数据中的全部信息主成分的方差之和：

?n个主成分的贡献率依次递减，第一主成分贡献率最大，数据的大部分信息集中在较少的几个主成分上累积贡献率：反映前m个主成分综合原始变量信息的能力选几个主成分代替原始变量合适？取较小的m，使得前m个主成分的累积贡献率不低于某一水平（如85%以上），达到降维的目的。贡献率9.3K-L变换

主成分的特点主成分是原变量的线性组合；各个主成分之间互不相关；主成分按照方差从大到小依次排列，第一主成分对应最大的方差（特征值）；每个主成分的均值为0，其方差为协方差阵对应的特征值；不同的主成分轴之间相互正交。9.3K-L变换

?设计思路9.3K-L变换（4）仿真实现获取训练数据，计算其协方差矩阵、协方差矩阵的特征值、特征向量，构成降维变换矩阵，对训练数据降维，并利用主成分重建原始数据，观察原始数据和重建数据的差别。

程序clc,clear;X=[-5-5;-5-4;-4-5;-5-6;-6-5;55;54;45;56;65];[N,n]=size(X);V=cov(X)*(N-1)/N;[coefflamda]=eigs(V);[lamda_sort,index]=sort(diag(lamda),descend);lamda=lamda(index,index);coeff=coeff(:,index);result1(1,:)={特征值,特征向量};fori=1:nresult1(1+i,1)=num2cell(lamda(i,i));endresult1(2:n+1,2)=(num2cell(coeff,1));9.3K-L变换

score=coeff*X;result2(1,:)={各样本第一主成分,各样本第二主成分};result2(2:N+1,:)=(num2cell(score(:,1:N)));figure;plot(score(1,:),score(2,:),ko),title(K-L变换);xlabel(第一主成分得分);ylabel(第二主成分得分);reconstructed=score*coeff;9.3K-L变换

result1=特征值特征向量[50.4000][0.707106781186548;0.707106781186548][0.4000][-0.707106781186548;0.707106781186548]运行结果result2=各样本第一主成分各样本第二主成