svm支持向量机课件.pptVIP

PCA求解步骤 Step 1：样本中心化，使得 Step 2：求解中心化后的样本的协方差矩阵 Step 3：求解协方差矩阵的特征值和特征向量，其中最大特征值对应的特征向量即为主方向。 对应的特征向量 为主方向 * KPCA：基于核函数的非线性主成分分析 Step 1：样本中心化，使得 Step 2：求解中心化后的样本的协方差矩阵 Step 3：求解协方差矩阵的特征值和特征向量 不妨设所求的特征向量为： 则根据特征向量的定义，有： * 根据核函数的定义，有： 展开后，得到： 其中K为核函数对应的的Gram矩阵。考虑到其逆存在，故： 解该方程得到 即可得到特征空间中的主分量 样本在主方向的投影可表示为： * 利用PCA得到的主分量重建结果 利用KPCA得到的主分量重建结果 * KPCA与其它方法的对比 * KPCA的去噪功能（USPS） Patterns 7291 train 2007 test Size: 16 x 16 Linear PCA Kernel PCA * Kernel Fisher Discriminant Analysis Kernel K-Means Clustering Kernel Independent Component Analysis …… 3.6 核函数方法在其它方面的应用 * Parameters’ selection for Multi-K