现代机器学习 课件 第4章 特征提取与选择.pptx

第4章特征提取与选择;

特征工程是指通过自动的方式从原始数据中获取有利于后期应用问题的特征的过程。特征工程承接数据获取环节与应用问题环节,对于后期应用问题的最终处理结果会产生很

大的影响。因此,特征工程也是机器学习中非常重要的一个环节,目前特征提取的方法很多,但是并没有完全通用的方法,必须根据实际问题或数据选择不同的方法。在实际应用中,特征工程包含从特征使用方案的设计到特征处理方法的选择以及特征的评价等多个具体环节,如图4.1所示。;;

4.1经典特征提取方法;

PCA算法在运算时要用到协方差及协方差矩阵。在概率论和统计学中协方差用于衡量两个变量的总体误差,计算公式为

在进行多维数据分析时,不同维度之间的相关程度需要协方差矩阵来描述,维度之间的两两相关程度就构成了协方差矩阵,而协方差矩阵主对角线上的元素即为每个维度上的数据方差。;

对于二维的数据,任意两个维度之间求其协方差,得到的4个协方差就构成了协方差矩阵:

对于正交属性空间的样本点,构造一个超平面来表达,使得所有样本点到该超平面的距离都足够近,样本点在这个超平面上的投影尽可能分散。;

PCA的主要思想是极大化投影方差,为了使得在投影后的空间中数据的方差最大,依次选择数据方差最大的方向作为主分量进行投影,最大化数据的差异性,从而保留更多的原始数据信息;同时,每次选择主分量时必须保证主分量