[工学]特征选择和特征提取.ppt

特征值 特征向量 基于PCA构建特征脸空间是对图像进行K-L变换，以去除样本间的相关性，然后根据特征值的大小选择特征向量。 这种方法首先将人脸图像映射为高维空间的向量，然后应用基于统计的离散K-L变换方法，构造一个各分量互不相关的特征空间，即特征脸空间，再将人脸图像在高维空间中的向量映射到特征脸空间，得到特征系数。 特征提取－LDA 线性判别分析：LinearDiscriminantAnalysis (LDA) Fisher(1936) ??在线性判别函数一章，我们讲过Fisher线性判别函数。它的思想是，找一个方向作投影，使得投影后的数据类间距尽可能大，类内距尽可能小。这实际上是两类数据的特征提取，提取的特征数是１。这一思想可以推广到任意类数据，提取任意多个特征。 LDA的思想: 寻找最能把两类样本分开的投影直线. LDA的目标: 使投影后两类样本的均值之差与投影样本的总类散布的比值最大 . LDA的求解: 经过推导把原问题转化为关于样本集总类内散布矩阵和总类间散布矩阵的广义特征值问题. 一种Filter算法: FOCUS 该算法致力于寻找一个能够正确区分所有类别的最小特征集合。 ??例如，若区分每个人的特征有：姓名、性别、籍贯、工作单位、身份证号…… 则该算法会选择：身份证号 ??搜索时先看一个特征能否正确区分样本，若不能，则考察两个特征……以此类推 假设材料在状态i的能量为E(i)，那么材料在温度T时从状态i进入状态j遵循如下规律： 如果E(j) ≤E(i)，接受该状态被转换。 如果E(j)E(i)，则状态转换以如下概率被接受： 顺序前进法 自下而上搜索方法。 每次从未入选的特征中选择一个特征，使得它与已入选的特征组合在一起时所得的J值为最大，直至特征数增加到d为止。 该方法考虑了所选特征与已入选特征之间的相关性。 特征选择 顺序后退法 该方法根据特征子集的分类表现来选择特征 搜索特征子集：从全体特征开始，每次剔除一个特征，使得所保留的特征集合有最大的分类识别率 依次迭代，直至识别率开始下降为止 用“leave-one-out”方法估计平均识别率：用N-1个样本判断余下一个的类别，N次取平均 特征选择 遗传算法 从生物进化论得到启迪。遗传，变异，自然选择。 基因链码：待解问题的解的编码，每个基因链码也称为一个个体。对于特征选择，可用一个D位的0/1构成的串表示一种特征组合。 群体：若干个个体的集合，即问题的一些解的集合。 交叉：由当前两个个体的链码交叉产生新一代的个体。 变异：由一个链码随机某基因使其翻转。 特征选择 遗传算法 适应度：每个个体xi的函数值fi，个体xi越好，fi越大。新一代群体对环境的平均适应度比父代高。 遗传算法的基本框架： Step1: 令进化代数t=0。 Step2: 给出初始化群体P(t)，令xg为任一个体。 Step3: 对P(t)中每个个体估值，并将群体中最优解x’与xg比较，如果x’的性能优于xg，则xg=x’ Step4: 如果终止条件满足，则算法结束，xg为算法的结果。否则继续。 Step5: 从P(t)中选择个体并进行交叉和变异操作，得到新一代群体P(t+1)。令t=t+1,转到Step3。 特征选择 Initial solutions start 1100110001 0011011001 1011101110 1100101010 encoding chromosome 1011101110 1100101010 1011101010 1100101110 0011011001 0011001001 crossover mutation 0011001001 1011101010 1100101110 solutions candidates decoding fitness computation evaluation roulette wheel selection termination condition? Y N best solution stop new population offspring offspring t 0 P(t) CC(t) CM(t) P(t) + C(t) 遗传算法的求解步骤 模拟退火法 模拟退火算法来源于固体退火原理，将固体加温至充分高，再让其徐徐冷却，加温时，固体内部粒子随温升变为无序状，内能增大，而徐徐冷却时粒子渐趋有序，在 每个温度都达到平衡态，最后在常温时达到基态，内能减为最小。 用固体退火模拟组合优化问题，将内能E模拟为目标函数值f，温度T演化成控制参数t，即得到 解组合优化问题的模拟退火算法：由初始解i和控制参数初值t开始，对当前解重复“产生新解→计算目标函数差→接受