2026《混合式特征选择方法分析》3400字.docxVIP

混合式特征选择方法分析

目录

TOC\o1-3\h\u31026混合式特征选择方法分析 1

167531.1Lasso算法 1

167961.2基于平均冗余度的遗传算法 2

267741.3基于多目标优化框架的非支配解 4

过滤式特征选择方法在所有特征选择方法中形式与思想上都属于最简单的一种，但其具备较高的计算效率，可以迅速的缩小问题的解决规模，因此其特征选择的结果虽然大多数情况下并不能达到最优，但往往可作为其他特征选择方法的前序处理，从而构成混合式特征选择方法。当前，关于混合式特征选择方法的研究大多是已有算法的简单结合，但本文注意到，上一章讨论的过滤法仅考虑了特征与响应变量之间的相关程度，特征子集内部也存在的冗余信息则被忽略了，而这正是导致选出的特征数量较多，特征子集无法达到最优的主要原因。因此，本章以除冗为目的，介绍两种可用于第二阶段的除冗算法，从而构成新的混合式特征选择方法：其中一种是受封装法启发进行的改进，另外一种则来源于多目标优化框架下非支配解的思想。由于Lasso算法是当前特征选择的主流方法，本章也将对其做简要的介绍。

1.1Lasso算法

Lasso算法是一类用于高维数据分析的正则化线性回归方法，其损失函数和相应的参数估计形式如（3-1）所示。

β

s.t.

与岭回归方法使用的2-范数约束相比，1-范数约束能够将不重要的参数