学习总结：SVD、PCA、卡方、信息增益、互信息、关键字提取技术.pdf

一、SVD 与 PCA 1. SVD 思想： SVD 和线性代数中的特征值分解目的一样，就是降维 ，抽取重要特征。它们都是将一个比较复杂的矩阵用几个子矩阵相乘来表示，只不过 特征值分解是针对方阵而言，而奇异值分解针对的是任意矩阵。 2. PCA 思想：PCA 的目的是使得变换后的数据有着最大的方差 ，可以用于训练集的选取等。 3. SVD 和 PCA 关系： 按 PCA 的观点来看，就是方差最大的坐标轴就是第一个奇异向量，方差次大的坐标轴就是第二个奇异向量。而 SVD 得出的奇异向量也是 从奇异值由大到小排列的。公式如下： A = U ×∑ ×VT ≈ U ×∑ ×VT （1 ） m×n m×m m×n n×n m×r r×r r×n =A V ≈ U ×∑ （2 ） m×n n×r m×r r×r = UT A ≈∑ ×VT （3 ）