模式识别-第10讲-特征的选择与提取2精要.ppt

可以看到Y1、Y2是原变量X1和X2的线性组合, 用矩阵表示为 显然UT=U-1且是正交矩阵. 如果上图的椭圆是相当扁平的,可以只考虑长轴Y1方向上的波动, 忽略Y2方向的波动. 这样, 二维可以降为一维. 一般情况, p个变量组成p维空间,n个样本就是p维空间的n个点, 对p元正态分布变量来说, 找主成分的问题就是找p维空间中椭圆体的主轴问题. （4）举例 例一 设模式 X=(X1, X2, X3)T 的协方差矩阵为 求X的各主成分. 解: 易求得∑的特征值及其相应的正交化特征向量 分别为 因此X的主成分为 取第一主成分,则贡献率为 若取前两个主成分,则累计贡献率为 因此,可用前两个主成分代替原来三个变量. %Example 1 % Cov_x=[1 -2 0;-2 5 0;0 0 2]; % 协方差矩阵; % [V , D]=eig(Cov_x); % 协方差矩阵的特征值和特征向量矩阵; % % eigenvalues=diag(D); % 得到特征值; % [eigs index]=sort(eigenvalues); % 将特征值的顺序按升序排列;index返回升序后的元素在原序列中的索引 % index=index(end:-1:1); % 将索引值逆序排列;为方便后面把特征值从大到小取出来 % % pcaEigVals=zeros(1,size(Cov_x)); %按从大到小排列的特征值 主成份分析时的特征值 % pcaEigVecs=zeros(size(Cov_x)); %上述特征值所对应的特征向量 % for i=1:3 % pcaEigVals(i)=eigenvalues(index(i)); % pcaEigVecs(:,i)=V(:,index(i)); % end % disp(三个主成分分别是：) % disp(strcat(y1=,num2str(pcaEigVecs(1,1)),*x1+,num2str(pcaEigVecs(2,1)),*x2+,num2str(pcaEigVecs(3,1)),*x3+)); % disp(strcat(y2=,num2str(pcaEigVecs(1,2)),*x1+,num2str(pcaEigVecs(2,2)),*x2+,num2str(pcaEigVecs(3,2)),*x3+)); % disp(strcat(y3=,num2str(pcaEigVecs(1,3)),*x1+,num2str(pcaEigVecs(2,3)),*x2+,num2str(pcaEigVecs(3,3)),*x3+)); 例二 设随机变量X=(X1,X2)T的协方差矩阵为 如果从∑出发作主成分分析,易求得 相应的相关矩阵为 X的两个主成分分别为 第一主成分的贡献率为 可以看到由于X2的方差很大, 它完全控制了提取信息量占99.2%的第一主成分, 淹没了X1的作用. 如果从ρ出发作主成分分析,易求得 X* 的两个主成分分别为 此时第一主成分的贡献率下降为 由此看到,原变量在第一主成分中的相对重要性由于标准化而有很大的变化. 此例表明,由∑ 和ρ所求得的主成分一般是不相同的,而且其中一组主成分也不是第二组主成分的某简单函数. 在实际应用中,当涉及的各变量的变化范围差异较大时,从ρ出发求主成分比较合理. * * * * 模拟退火来自冶金学的专有名词退火。退火是将材料加热后再经特定速率冷却，目的是增大晶粒的体积，并且减少晶格中的缺陷。材料中的原子原来会停留在使内能有局部最小值的位置，加热使能量变大，原子会离开原来位置，而随机在其他位置中移动。退火冷却时速度较慢，使得原子有较多可能可以找到内能比原先更低的位置。 模拟退火的原理也和金属退火的原理近似：我们将热力学的理论套用到统计学上，将搜寻空间内每一点想像成空气内的分子；分子的能量，就是它本身的动能；而搜寻空间内的每一点，也像空气分子一样带有“能量”，以表示该点对命题的合适程度。算法先以搜寻空间内一个任意点作起始：每一步先选择一个“邻居”，然后再计算从现有位置到达“邻居”的概率。 可以证明，模拟退火算法所得解依概率收敛到全局最优解 * * * * * 以前我们假定给出了维数为n的确定的模式样本集，代表模式的特征是选择好的。但在实际设计一个模式识别系统时，首先要解决的问题用各种可能的手段对识别对象的性质作各种可能的测量，并将这些测量值作为分类的特征。而为了设计出好的分类器，一般需要对原始的测量值集合进行分析，进行选择或变换，组成识别特征，在保证一定分类精度的前提下，减少特征维数，