高维数据降维的主成分分析（PCA）与t-SNE.docxVIP

高维数据降维的主成分分析（PCA）与t-SNE

一、引言：高维数据困境与降维技术的价值

（一）高维数据的挑战与维度灾难

在大数据与人工智能蓬勃发展的当下，高维数据已成为各领域数据分析的常态：图像领域中一张普通彩色图片的像素维度可达数千，生物信息学中基因表达数据的维度常以数万计，自然语言处理中词向量的维度也多在数百以上。然而，高维数据并非维度越高价值越大，反而会引发“维度灾难”——随着维度增加，样本在空间中的分布会愈发稀疏，传统统计模型的计算复杂度呈指数级增长，模型泛化能力急剧下降，甚至出现“高维空间中任意两个样本距离几乎相等”的悖论，导致分类、聚类等分析任务难以开展（Hastieetal.,2009）。如何在尽可能保留数据关键信息的前提下，将高维数据映射到低维空间，成为数据分析领域的核心问题之一。

（二）降维技术的核心目标与主流方法

降维技术的核心目标是去除数据中的冗余信息，提取具有代表性的特征，同时保留数据的内在结构与分布规律。根据映射关系的不同，降维技术可分为线性降维与非线性降维两类。其中，主成分分析（PrincipalComponentAnalysis,PCA）是线性降维的经典范式，凭借简单高效、全局结构保留能力强的特点，成为数据预处理与初步分析的首选工具；而t分布邻域嵌入（t-distributedStochasticNeighborEmbedding,