模式识别-第9讲-特征的选择与提取.ppt

例二 设随机变量X=(X1,X2)T的协方差矩阵为 如果从∑出发作主成分分析,易求得 相应的相关矩阵为 X的两个主成分分别为 第一主成分的贡献率为 可以看到由于X2的方差很大, 它完全控制了提取信息量占99.2%的第一主成分, 淹没了X1的作用. 如果从ρ出发作主成分分析,易求得 X* 的两个主成分分别为 此时第一主成分的贡献率下降为 由此看到,原变量在第一主成分中的相对重要性由于标准化而有很大的变化. 此例表明,由∑ 和ρ所求得的主成分一般是不相同的,而且其中一组主成分也不是第二组主成分的某简单函数. 在实际应用中,当涉及的各变量的变化范围差异较大时,从ρ出发求主成分比较合理. * 以前我们假定给出了维数为n的确定的模式样本集，代表模式的特征是选择好的。但在实际设计一个模式识别系统时，首先要解决的问题用各种可能的手段对识别对象的性质作各种可能的测量，并将这些测量值作为分类的特征。而为了设计出好的分类器，一般需要对原始的测量值集合进行分析，进行选择或变换，组成识别特征，在保证一定分类精度的前提下，减少特征维数，使分类器的工作又快又准确。要达到上述目的，关键是所提供的模式特征应具有很好的可分性（类别可分离性判据来衡量），同时去掉那些关联性较强的特征。下面我们看一下本章中设计到的基本概念。 * * * 下面我们以两类问题为例，来分析一下基于概率分布的可分性判据。先来看一下面的一个简单的例子。 由上启发我们可用两类概率密度函数的重叠程度（相似程度）来度量可分性，构造基于类概率的可分性判据。 它可以是概率密度函数的乘积、比或差的积分来刻画重叠程度。 * * * * 当温度降至很低时，材料会以很大概率进入最小能量状态 1) 模拟退火算法 模拟退火优化法：f : x→R+， 其中x∈S，表示优化问题的一个可行解。 N(x)≤S 表示x的一个邻域集合。 首先给定初始温度T0和初始解 x(0)，以概率P生成下一个新解x’ 1) 模拟退火算法 对于温度Ti和该优化问题的解x(k)，可以生成新解x’ 经过多次转换，降低温度得到 T i+1 Ti。在Ti+1下重复上述过程，最终的解是对该问题寻优的结果。 经过有限次转换，在温度Ti下的平衡态xi的分布为 1) 模拟退火算法 当温度T降为0时，xi的分布为 1) 模拟退火算法: 步骤 Step1: 令i=0, k=0, 给出初始温度T0和初始特征组合x(0)。 Step2: 在x(k)的邻域N(x(k))中选择一个状态x’，即新特征组合。计算其可分性判据J(x’)，并按概率P接受x(k+1)=x’。 Step3: 如果在Ti下还未达到平衡，则转到Step2。 Step4: 如果Ti已经足够低，则结束，当时的特征组合即为算法的结果。否则继续。 Step5: 根据温度下降方法计算新的温度Ti+1。转到Step2。 该算法受进化论启迪，根据“物竞天择，适者生存”这一规则演变. 2) 遗传算法 基因链码：使用遗传算法时要把问题的每个解编码成一个基因链码。比如要从D个特征中挑选d个,就用一个D位的0或1组成的字符串表示一种特征组合。1表示该特征被选中，每个基因链码代表一个解，称作一个“个体”，其中的每一位看作一个“基因” 群体：若干个体的集合，也就是一些解的集合 交叉：选择群体中的两个个体，以这两个个体为双亲作基因链码的交叉，从而产生两个新的个体，作为后代。 2) 遗传算法 变异：对某个体，随机选取其中一位，将其翻转 适应度：对每个解，以给定的优化准则来评价其性能的优劣，作为其适应度，即函数fi的值，个体xi越好，fi 越大。新一代群体对环境的平均适应度比父代高 Step1: 令进化代数t=0。 Step2: 给出初始化群体P(t)，令xg为任一个体。 Step3: 对P(t)中每个个体估值，并将群体中最优解x’ 与xg比较，如果x’的性能优于xg，则xg=x’ Step4: 如果终止条件满足，则算法结束，xg为算法的 结果。否则继续。 Step5: 从P(t)中选择个体并进行交叉和变异操作，得 到新一代群体P(t+1)。令t=t+1,转到Step3。 2) 遗传算法：步骤 关于遗传算法的说明： ??由步骤3保证了最终解是所搜索过的最优解 ??常用的终止条件是群体的世代数超过一个给定值，或连续数个世代都没有得到更优解 ??群体的大小和演化代数是值得重视的参数。在一定范围内，这两个参数大些能得到更好的解 ??对交叉的亲本选择可采用如下规则：个体的性能越好，被选中的可能性也越大 3) Tabu搜索算法 自学… 本节课结束 谢谢大家！ 1 设有两类三维样本，都服从正态分布，且样本均值和协方差矩阵分别为： 1). 计算其类可