商业数据分析·SVD.pptVIP

商业数据分析 2016·11·24 线性降维 线性降维 2 1 PCA Principal Component Analysis 主成分分析法 线性降维 2 PCA 主成分分析（PCA）的方法可以解决数据降维和解相关性的问题。 PCA的思想是： 将p维的样本线性映射到k维空间上（kp）。而且，这k个维度是相互正交（不相关）的。 这k个方向就是主成分，并且是重新构造出来的，而不是简单地从原来p维中去除p-k维。 用数学语言来描述映射 线性降维 2 原始数据点是蓝色的六个点，我们要把它从一个 垂直正交二维空间投影到一条直线（一维空间）上。 假设这条黄色的直线，和原来的横轴角度为θ，我们定义一个投影矩阵P： 用原来的点的坐标构成的矩阵去乘以矩阵P，就完成了映射： 继续回到PCA 2 步骤： 1、每维数据都中心化。即每一列的数据都减去该列的均值：X——Xc 2、计算Xc的协方差矩阵S： 3、计算协方差矩阵S的特征向量和特征值； 求每个特征值lj 求aj构成的特征向量 线性降维 4、将特征值从大到小排列，选取前k个大的特征值对应的特征向量，也就是选出这p个特征中最重要的k个特征对应的特征向量。 5、将Xc映射到第4步计算出来的特征向量上，即Xc乘以这个特征向量，得到新的数据集Z。 这个新的数据集Z就是我们通过PCA处理原始数据后的结果啦！ 那么问题来了？ 2 K是多少？ 线性降维 画