2453高维数据的特征选择.pdfVIP

2特征选择及相关技术研究现状 特征选择是机器学习领域的经典问题，大多数机器学习问题都与之相关。在 20世纪90年代，随着大規模高维数据的出现，特征选择受到前所未有的重视， 并出现了很多经典算法。 特征选择算法的发展大致可以分为两个阶段。第一个阶段称为传统特征选择 阶段。该阶段大约从20世紀60年代开始，主要研究特征子集的生成和特征子集 的评价。该阶段常采用经典捜索策略来生成特征子集，并应用信息论和统计学中 的理论来评价所选择的特征子集。这些算法将会在2.1节详细介绍。第二个阶段 称为现代特征选择阶段。此阶段大约从20世纪90年代初期开始，直到现在都非 常活跃。它的特点是将现代机器学习算法应用到特征选择中，使得所选择的特征 质量更高。这个阶段的算法将会在2.2节进行详细介绍。 2.1传统特征选择的研究现状 传统特征选择总共分为四个基本处理过程，即生成特征子集、评价特征子集、 停止条件、验证結果。这四个过程的关系如图2-1所示。 原始特征集 特征子集 捜索起点 捜索策略 评估函数