主成分分析（PCA）在降维与因子构建中的实践.docxVIP

主成分分析（PCA）在降维与因子构建中的实践

一、主成分分析的理论内核与应用边界

（一）高维数据处理需求下的方法诞生逻辑

随着数据采集技术的不断发展，各个领域的数据集都呈现出变量维度快速增长的特征：生物基因测序一次可以获得上万个基因表达指标，社会调研一份问卷可以包含上百个题项，高清图片的像素点可以达到几十万甚至上百万个。当变量维度达到一定水平后，不仅数据存储和运算的成本会大幅上升，还会出现普遍的“维度灾难”问题：变量之间的信息重叠会导致模型过拟合，距离度量的有效性下降，最终让分析结果的可靠性大打折扣（哈斯蒂等，2009）。主成分分析方法的诞生，正是为了系统性化解高维数据带来的这类现实问题。

早