特征组合降维方法.PDFVIP

回顾 • 特征组合降维方法 • 主成分分析（PCA） • 寻找用来有效表示数据的投影 • 无监督 • 线性判别分析（LDA） • 寻找用来有效分类的投影 • 有监督 Ch 06.特征降维和选择 Part 3 特征选择 降维 • 降低维度的方法 • 特征组合 把几个特征组合在一起，形成新的特征 • 特征选择 选择现有特征集的一个子集 特征选择 • 特征选择方法包含两个主要组成部分 • 搜索过程 • 选择准则 • 搜索过程 • 在所有候选特征子集中进行系统搜索的过程 • 原则上，穷尽搜索（exhaustive search ）即能够找到最优子集。 实践中，往往采用更高效的非穷尽搜索算法，找到次优解 • 选择准则 • 用于判断某个特征子集是否优于另一个特征子集的标准 • 原则上，选择准则即为系统性能的评价准则，如分类错误率等。 实践中，往往采用简化的选择准则。 搜索过程 • 循序向前选择法 （Sequential Forward Selection，SFS ） • 首先，最好的单个特征被选出 • 然后，用所有其他特征与第一个选出的特征组合成候选 特征对，找出最好的一对 • 再用剩下的特征分别与上一步选出的最好特征对组成候 选特征三元组，找出最好的三元组 • 该过程知道选出足够多的特征停止 搜索过程 • 循序向前选择法 （Sequential Forward Selection，SFS ） 搜索过程 • 循序向前选择法 （Sequential Forward Selection，SFS ） • 缺点 • 单个特征区分力很差，但两个特征结合区分力强，在此情况下 ，SFS失效 最优子集中的每个特征分别单独 考虑时，并不一定都为最优 搜索过程 • 循序向前选择法：实例——卫星图像分析 搜索过程 • 循序向后选择法 （Sequential Backward Selection，SBS ） • 首先，选择所有d个特征 • 然后，从所有特征中任意去掉一个形成d个候选的d-1特 征集，从中选出选出最好的一个 • 再从上一步得到的d-1特征集中任意去掉一个特征形成 d-1个d-2特征集，从中选出最好的一个 • 该过程直到特征集中的特征个数到达预先设定的值时停 止 搜索过程 • 循序向后选择法 （Sequential Backward Selection，SBS ） 因为SBS考虑的特征数目大于等于期望的特征数目，所以SBS通常 比SFS需要更多的选择准则计算 搜索过程 • 循序向后选择法：实例——卫星图像分析 选择准则 • 理想方法 • 用选定的特征子集表示训练样本，训练分类器，然后测 试该分类器的泛化误差 （如采用交叉验证等方法） • 因为对每个特征子集都需要训练一个分类器，因此计算 量很大 • 简化方法 • 定义某种类内距离度量来描述