模式识别论文报告-稀疏核的主成分分析-北京大学.pptVIP

模式识别论文报告---- 稀疏核主成分分析 李武璐（1001110012） 吕唐杰（1101110035） 目录： （1）内容简介 （2）主成分分析回顾 （3）稀疏核方法及应用 （4）错误率分析 （1）内容简介 本文研究了如何从一组特征中生成一组新的特征的方法，是主成分分析方法的推广，利用稀疏核，使得计算中可以大量减少新的特征数量，可以减少后期的计算量和复杂度。 本文的方法在简化问题的同时保证了良好的计算效果，错误率和原方法类似。 （2）主成分分析方法回顾 主成分分析（PCA）： 利用一组原有的特征，计算出一组按照重要性从大到小排列的新特征。 设 为原有的n个特征，新特征 是原始特征的线性组合 使得 之间不 相关。 事实上，设 为x的协方差矩阵，则 为第i个特征值对应的特征向量。 ·核函数主成分分析（Kernel PCA） 设有映射 ，定义核函数k: 可以得到核函数矩阵 具体是 我们可以在不知道 的具体表达式 的前提下，通过k得到需要的结论。 对90个样本点使用核函数方法，得到不同特 征值对应的特征向量在特征空间上的投影 （3）稀疏核方法及应用 从核函数PCA出发，令 ，其中C定义为： 作为每个分量上的噪音出现，并且为固定常数。 当考虑 时，根据 [6],可知在极大似然估计下，取 极值时 ，其中 为 的 特征值和特征向量。并且 时， ； 时， =0。 根据C的表达式建立对数极大似然函数： 进一步求得似然函数的具体表达式，其中， 接下来进行求解，通过求导，可得： ，另外根据[5], 也可令： 经过循环计算，可以得到 的收敛值，以及 ，下面要计算特征主轴。 令 ，我们需要计算 的特征值和特征向量。 可以得到 通过公式 可以计算指定轴向量到特征空间 的投影，不用事先知道 。 ·最后可以计算重构误差： 取 ，使用GAUSS核函数，有下面例子： （4）错误率分析 上面例子中实际上只有用到了10%的点就确定了要求的 ，下图为这些点以及重构错误。 另外，利用[1]中的7维例子，可以得到相应的重构错误率和实验错误率，发现原方法和新方法相差无几。 谢谢 * *