非线性成分分析作为一个核的特征值问题.docVIP

非线性成分分析作为一个核的特征值问题 摘要 我们用于一种新方法描述如何执行主成分分析非线性形式。通过对积分算子核函数的使用。通过一些相关的非线性映射输入空间，我们可以有效计算在高维特征空间的主成分组成部分；比如在16 *16的图像空间中所有可能的5个像素的乘积。这篇论文中我们给出了该方法的推导，连同由非线性与内核的方法形成的讨论，并且展现目前对模式识别的非线性特征提取的第一批实验结果。 1 引入 主成分分析是尽可能提取高维数据集的一种强大的配套技术.它很容易通过求解一个特征值问题或者用迭代算法来估计主成分；现有的文献（看Jolliffe(1986) and Diamataras Kung (1996)）。PCA是将我们所描述的数据的坐标系进行正交变换。用新的坐标值所表示的数据我们称为主成分。通常情况下,少数的主成分组足以说明数据的主要结构。这些少数的数据我们有时候叫做数据的因素及潜在变量。 目前的主成分分析的推广工作，我们输入空间中的变量或特征，Aizerman,Braverman,和 Rozonoer,1964；Boser,GuyonVapnik,1992）。尽管这个方法已被广泛的认知（Burges,1996）,它的对机器学习的用途不是很大，除了在支持向量机方面。（Vapnik,1995） 在这篇论文中，我们给出了通过这种方法构造非线性函数的几个例子。第一个例子是主成分分析的非线性形式，我们将会给出方法的细节及实验结果（第2到4节），我们也将主要描绘出具体的算法（第7节）。 在下一节中，我们首先回顾一下标准PCA的算法。为了能把它推广到非线性情况下，我们将用对应的唯一的点积的方法将PCA算法公式化。在第3节中，我们将在特征空间中通过计算点积来讨论核方法。这两节主要是第4节的基础，第4节将提出对于非线性的PCA得核的基本算法。第5节中将讨论基本核PCA算法与其他推广的PCA算法的不同。在第6节中，我们将给出在模式识别的特征值提取中的核基本算法的一些第一次实验结果。然后在第7节将探讨关于核方法在其他领域的应用，将在第8节中对于探讨给出总结。最后，一些技术性的材料，对于论据不构成主要的线索我们将放入附录中。 2 特种空间的PCA 给出一组以M为中心的观测值 PCA算法对角化后的协方差矩阵为 （1） 为了做这个，首先解决特征值问题 （2） 对于特征值和且，对于V的值必须依赖于的跨度，因此，（2）就等价于 (3) 本节的其余部分是专门用来直接转换到非线性情况，为了在本论文中提出的方法做基础准备。我们应该现在就描述在空间F上的另一种点集的计算方法，它通过一个可能的非线性映射将输入空间映射到F空间 （4） F所代表的就是特征空间，维数可能非常的大，很可能是无限的。 这里和下面的大写字母代表空间F中的元素而小写字母表示中的元素。 接下来，我们做一个假设，我们将数据中心化，也就是说 然后我们将返回数据点。用空间F的协方差矩阵 （5） _______ 更精确地说，这个协方差矩阵也被定义为的期望；为了方便，我们应该通过一个有限的例子用同样的公式计算协方差矩阵来估计下(1)的极大似然率 （如果F是无限维的空间，我们认为通过映射到 将作为线性算子，我们必须找到个特征值以及 个特征向量 满足 (6) 和上面的讨论同理，V的解法也依赖于的跨度。对于我们，我们得到了两个有用过的结论：第一个我们得到下面的等价不等式 （7） 第二，存在系数有 （8） 结合（7）式和（8）式，我们得 （9） 定义一个矩阵K （10） 这就写成 （11） 其中记为用通过作为向量的列。因为K是对称矩阵，它有一组可以长成整个空间的特征向量组成，即 （12） 给出方程式（11）的所有的解法。我们记K为半正定的，它就相当于 （13）