高维数据降维方法之主成分分析.docxVIP

高维数据降维方法之主成分分析

一、高维数据时代的现实困境与降维技术价值

（一）高维数据带来的分析挑战

随着数据采集技术的不断发展，各个领域积累的数据维度持续升高：比如生物医学领域的单细胞基因表达数据，单个样本的检测维度可以达到数万个基因；计算机视觉领域的普通彩色图像，单张分辨率不高的图片就包含上百万个像素点；人文社科领域的综合社会调查，一份覆盖民生多维度的问卷可能包含上百个测量题项；互联网领域的用户行为分析中，单个用户的兴趣标签可以达到数千个。这些高维数据虽然承载了更丰富的观测信息，但也给数据分析带来了本质性的困难，也就是学界常说的“维度灾难”问题。当数据维度不断升高时，样本在高维空间中的分布会变得极度稀疏，不同样本之间的距离度量会逐渐失去区分度——所有样本之间的距离都会趋于相近，基于距离判断的聚类、分类、异常检测等方法都会失效；同时，高维数据会让后续建模的计算量大幅增长，模型需要估计的参数数量显著提升，在样本量有限的情况下极易出现过拟合，表现为模型在训练数据上效果很好，但在新数据上的泛化能力极差。更重要的是，高维数据本身包含大量信息冗余：很多观测特征之间存在高度相关性，比如居民收入水平与消费水平、空气污染物中的细颗粒物浓度与可吸入颗粒物浓度、图像中相邻像素点的灰度值，这些高度相关的特征实际上在重复反映同一类信息，保留所有特征不仅不会提升分析效果，反而会干扰对核心规律的识别（周志华