第七章_特征选择.pptVIP

CSE 802. Prepared by Martin Law 特征选择 河北大学工商学院 主要内容 引言 基于互信息的特征选择方法 选取策略 引言 Thousands to millions of low level features: select the most relevant one to build better, faster, and easier to understand learning machines. 引言（续） 引言（续） Univariate method: considers one variable (feature) at a time. Multivariate method: considers subsets of variables (features) together. Filter method: ranks features or feature subsets independently of the predictor (classifier). Wrapper method: uses a classifier to assess features or feature subsets. 引言（续） 基于互信息的特征选择方法 基于互信息的特征选择方法（续） 互信息的估计方法： 基于互信息的特征选择方法（续） ---直方图法 基于互信息的特征选择方法（续） ---直方图法（续） 基于互信息的特征选择方法（续） ---直方图法（续） 基于互信息的特征选择方法（续） ---Parzen窗法 基于互信息的特征选择方法（续） ---Parzen窗法（续） 基于互信息的特征选择方法（续） ---Parzen窗法（续） 基于互信息的特征选择方法（续） ---Parzen窗法（续） 基于互信息的特征选择方法（续） ---Parzen窗法+Renyi熵 用Parzen窗估计的概率密度函数来计算HS(X)是不可行的 用HR2(Quadratic Entropy)代替HS 基于互信息的特征选择方法（续） ---Parzen窗法+Renyi熵（续） 基于互信息的特征选择方法（续） ---Parzen窗法+Renyi熵（续） Kullback-Leibler (KL) 散度 Cauchy-Schwartz (CS) 散度 基于互信息的特征选择方法（续） ---Parzen窗法+Renyi熵（续） 基于互信息的特征选择方法（续） ---Parzen窗法+Renyi熵（续） CS-QMI 选取策略 选取策略 选取策略（续） 选取策略（续） 选取策略（续） 选取策略（续） 选取策略（续） 选取策略（续） 选取策略（续） 选取策略（续） 选取策略（续） 选取策略（续） 选取策略（续） Homework 采用启发式的特征选择算法（8种） 增l去r选择方法： 该方法允许在特征选择过程中进行回溯，如果lr，则该算法是自下而上的方法，用SFS方法将l个特征加入到当前特征集中，然后再用SBS方法删除r个最差的特征，这种方法消除嵌套问题，因为某一步获得的特征集不一定是下一步特征集的子集，如果lr，则算法为自上而下的方法，从一个完整特征集开始，依次删除r个特征，再增加l个特征直到获得满足条件个数的特征。 该方法实际上是SBS和SFS方法的一种折衷，他的运算速度比SBS快，运算效果比SFS好。 采用启发式的特征选择算法（8种） 广义增l去r选择方法： 该方法在增l去r选择方法的基础上，用GSFS和GSBS分别代替SFS和SBS。 前面讨论过的所有算法都可以看作它的特例。因而它包含极其广泛的理论意义。 缺点： 操作极为复杂，难以制定实际规则加以利用。 采用启发式的特征选择算法（8种） 浮动搜索方法： 该方法改变上述一系列算法固定l、r的基本做法，采用浮动的步长，也就是选择算法的不同步骤，可以采用不同的l、r。实际的每轮的l、r可以根据特征的统计特点来制定，这是一种非常实用的改良机制 总结：上述八种方法中，一般认为采用浮动广义后向选择方法（Fl