基于L1范数最优化主成分分析.docVIP

基于L1范数最优化主成分分析 　　摘 要： 鲁棒性不足是传统的基于L2-范数的主成分分析（L2-PCA）的主要问题。为此，提出了一种基于新的L1-范数优化技术的主成分分析（L1-PCA）方法。该方法使用了对异常值和旋转不太敏感的L1-范数。L1-范数优化技术是直观的、简单的和易于实现的，事实上，L1-范数优化技术也被证明是找到本地最大值的一种解决方法。在一些数据集上的实验验证了基于L1-范数优化技术的主成分分析算法的有效性。 　　关键词： PCA-L1； L1-范数； 优化； 主成分分析； 鲁棒性 　　中图分类号：TP391.4 文献标志码：A 文章编号：1006-8228（2012）12-03-03 　　Principal component analysis based on L1-norm optimization 　　Zhang Congcong1， Chen Qi1， Xu Jiaheng2， Ji Binqiong1， Xu Shuhua1 　　（1. School of Maths and Physics， Shaoxing College， Shaoxing， Zhejiang 312000， China； 2. School of Engineering， Shaoxing College） 　　Abstract： Lacking robustness is a main problem of the traditional L2-norm （L2-PCA）. In this paper， a method of principal component analysis （PCA） based on a new L1-norm optimization technique is introduced. L1-norm is used， which is less sensitive to abnormal values and rotations. The proposed L1-norm optimization technique is intuitive， simple and easy to be implemented. It is also proven to be a solution to find a local maximum. Simulations on several databases are conducted to verify the validity of L1-PCA. 　　Key words： PCA-L1； L1-norm； optimization； principal component analysis； robustness 　　0 引言 　　在对待大量的输入数据分析的问题上，为了简化问题，同时又不降低性能，通常使用降维来减少输入的数据量，其中，主成分分析[1]是最受欢迎的方法之一。在主成分分析中，试图找到一组能够最大化给定数据的方差的投影。这些投影构成一个低维线性子空间，在此空间中，保留了原始的输入空间中的数据结构。 　　虽然基于L2范数的PCA（简称L2-PCA）已成功地解决了许多问题，但是它很容易出现异常值，因为L2范数会夸大一个大范数下的异常值的影响力。为了减轻这一问题并实现鲁棒性，很多研究者已经进行了许多研究[2-7]。在文献[5-7]中，假定每个投影和原始数据点之间的误差主要是遵循拉普拉斯分布而不是高斯分布，通过最大似然估计所给定的数据来制定L1范数PCA（L1-PCA）。为获得L1-PCA的解决方法，文献[5]使用了启发式估计来解决了一般的L1问题，与此同时，文献[6，7]提出了加权中值法和凸面编程法。尽管L1-PCA具有鲁棒性，但它还有一些缺点。首先，由于它是基于线性或二次规划，计算量大；其次，它对旋转是可变的。在文献[4]中，丁等人提出了融合了L1-PCA、L2-PCA的优点的R1-PCA。不像L1-PCA，R1-PCA正如L1-PCA那样成功地抑制了异常值的影响，并且是旋转不变式。然而，该方法是高度依赖于被找到的m维子空间。例如，在m=1时获得的投影向量不可能是在m=2获得的子空间。此外，因为它是一个基于一个连续使用功率法[8]的迭代算法，对于一个大维数的输入空间，它需要花费很多的时间来实现收敛。 　　然而，上述方法都试着在原始的输入空间对投影和原始数据点之间的误差最小化。如果L2-范数作为距离测量，这个目标可以通过奇异值分解实现[8]，奇异值分解相当于通过在特征空间中最大化方差来找到投影。在本文中，不是使用基于L2-范数最大化方差，而是使用了一种能够最大限度提高特征空间的L1-范数、实现稳健和旋转不变的主成分分析方法。实验表明，基于L