特征选择常用算法综述.docVIP

特征选择常用算法综述 Posted on 2011-01-02 14:40 苍梧 阅读(11252) 评论(11) 编辑 收藏 1 综述  (1) 特征选择 ( Feature Selection )也称特征子集选择( Feature Subset Selection , FSS ) ，或属性选择( Attribute Selection ) ，是指从全部特征中选取一个特征子集，使构造出来的模型更好。 ? (2) 为什么要做特征选择 在机器学习的实际应用中，特征数量往往较多，其中可能存在不相关的特征，特征之间也可能存在相互依赖，容易导致如下的后果： !--[if !supportLists]--?? !--[endif]--特征个数越多，分析特征、训练模型所需的时间就越长。 !--[if !supportLists]--?? !--[endif]--特征个数越多，容易引起“维度灾难”，模型也会越复杂，其推广能力会下降。 ? 特征选择能剔除不相关(irrelevant)或亢余(redundant )的特征，从而达到减少特征个数，提高模型精确度，减少运行时间的目的。另一方面，选取出真正相关的特征简化了模型，使研究人员易于理解数据产生的过程。 ? ?2 特征选择过程  2.1 特征选择的一般过程 ? 特征选择的一般过程可用图1表示。首先从特征全集中产生出一个特征子集，然后用评价函数对该特征子集进行评价，评价的结果与停止准则进行比较，若评价结果比停止准则好就停止，否则就继续产生下一组特征子集，继续进行特征选择。选出来的特征子集一般还要验证其有效性。 综上所述，特征选择过程一般包括产生过程，评价函数，停止准则，验证过程，这4个部分。 ? 　　(1) ( Generation Procedure ) 　　2.2小节展开介绍。 ? 　　(2) ( Evaluation Function ) 　　2.3小节展开介绍。 ? 　　(3) ( Stopping Criterion ) 　　 ? 　　(4) ( Validation Procedure ) 　　 图1. 特征选择的过程 ( M. Dash and H. Liu 1997 ) 2.2 产生过程 产生过程是搜索特征子空间的过程。搜索的算法分为完全搜索(Complete)，启发式搜索(Heuristic)，随机搜索(Random) 3大类，如图2所示。  ? 图2. 产生过程算法分类 ( M. Dash and H. Liu 1997 )  下面对常见的搜索算法进行简单介绍。  2.2.1完全搜索 　　完全搜索分为穷举搜索(Exhaustive)与非穷举搜索(Non-Exhaustive)两类。 　　(1) ( Breadth First Search ) 　　 　　算法评价：枚举了所有的特征组合，属于穷举搜索，时间复杂度是O(2n)，实用性不高。  　　(2)( Branch and Bound ) 　　  　　(3) (Beam Search ) 　　N个得分最高的特征作为特征子集，将其加入一个限制最大长度的优先队列，每次从队列中取出得分最高的子集，然后穷举向该子集加入1个特征后产生的所有特征集，将这些特征集加入队列。  　　(4) ( Best First Search ) 　　  2.2.2 启发式搜索  　　(1)( SFS , Sequential Forward Selection ) 　　算法描述：特征子集X从空集开始，每次选择一个特征x加入特征子集X，使得特征函数J( X)最优。简单说就是，每次都选择一个使得评价函数的取值达到最优的特征加入，其实就是一种简单的贪心算法。 　　算法评价：缺点是只能加入特征而不能去除特征。例如：特征A完全依赖于特征B与C，可以认为如果加入了特征B与C则A就是多余的。假设序列前向选择算法首先将A加入特征集，然后又将B与C加入，那么特征子集中就包含了多余的特征A。  　　(2)( SBS , Sequential Backward Selection ) 　　算法描述：从特征全集O开始，每次从特征集O中剔除一个特征x，使得剔除特征x后评价函数值达到最优。 　　算法评价：序列后向选择与序列前向选择正好相反，它的缺点是特征只能去除不能加入。 　　另外，SFS与SBS都属于贪心算法，容易陷入局部最优值。  　　(3) ( BDS , Bidirectional Search ) 　　算法描述：使用序列前向选择(SFS)从空集开始，同时使用序列后向选择(SBS)从全集开始搜索，当两者搜索到一个相同的特征子集C时停止搜索。 　　双向搜索的出发点是??。如下图所示，O点