多元变量典型相关分析的分类最小二乘配方扩展和分析.docx

多元变量典型相关分析的分类：最小二乘配方、扩展和分析 摘要——典型相关分析（CCA）是一种寻找两个多维变量之间相关性的著名的技术。它是一项把两组变量化到一个低维空间中并且使他们之间的相关性最大的工作。CCA 通常在两组变量分别的是来源于数据和类标签上申请监督降维。众所周知,CCA 可以制定作为在二进制类案件中的一个最小二乘问题。然而,扩展到更一般的变量尚不清楚。在本文中,我们表明,在倾向于保持高维数据的温和条件,CCA 在多元变量的情况下可以制定作为一个最小二乘问题。在此基础上等价关系,高效的算法求解最小二乘问题可以应用于非常大的数据集规模 CCA 问题。此外,我们提出几个 CCA 扩展,包括基于 1 规范正规化的稀疏 CCA 方程式。我们进一步扩展最小二乘方程式为偏最小二乘法。此外,我们表明,投影,让一群 CCA 变量是独立的，正则化在另组多维变量,提供新的见解的影响 CCA 的正规化。我们使用基准数据集进行了实验。实验数据集确认建立了等价关系。结果也证明了CCA 扩展的有效性和效率的提议。 关键字——典型相关分析、最小二乘法、多元变量学习,偏最小二乘法、正规化。 引言 典型相关分析(CCA)[1]是一个众所周知的寻找两套多维变量之间的相关性的技术。它使用两个视图相同的组对象和项目到一个与他们最相关的低维空间中去。CCA 已经成功应用在各种应用中[2]、[3]。一个流行的使用CCA 是监督式学习,它其中一个观点是来源于数据并且其他的观点来源于类标签。在这种背景， 数据可以用标签信息定向的被投影到一个低维空间。这样的一个方程式在对多元变量进行降维的情况下是非常的吸引人的。 多元线性回归(多元)即最小平方和成本函数是一种专门研究回归问题的技 术。它还可以被应用于通过定义一个合适的类指标矩阵的分类问题[5],[6]。多元的解决方案基于最小二乘法通过求解一个线性方程组来获得。一个数量的算法包括共轭梯度算法,可以应用到它有效地解决[7]。此外,最小二乘方程式可以很容易使用正则化技术进行扩展。例如,1 规范可以被纳入正规化最小二乘方程式来控制模型复杂性和提高稀疏[8]。稀疏常常会导致容易解释和良好的泛化能力。它已经被成功地应用在几个算法中,包括主成分分析[9]和支持向量机[10]。 与最小二乘法相比，CCA 涉及广义特征值问题,它解决时，计算更加费时[11]。此外,它是具有挑战性的,因为它获得稀疏 CCA 时涉及到一个困难稀疏的广义特征值问题。凸松弛的稀疏 CCA 的研究[12]放在,确切的稀疏的 CCA 配方一直放松在几个步骤上。另一方面,最小二乘法和 CCA 已经建立在文学上建立起一个有趣的联系。特别是,CCA 被证明是相当于 Fisher 线性判别分析(LDA)的二进制类问题[13]。与此同时,众所周知,在这种情况下 LDA 相当于最小二乘法[5],[6]。 1 因此,CCA 可以作为一个对于二进制类问题制定最小二乘问题。在实践中,多元变量问题非常普遍。因此研究它们在更一般的变量中的关系更具诱惑。 在本文中,我们研究 CCA 和最小二乘在多元变量问题之间的关系。我们表明, 在倾向于保持高维数据的温和条件下,CCA 可以作为一个通过制定构造一个特殊类指标矩阵的最小二乘问题。在此等价关系的基础上,我们提出几个 CCA 扩展, 包括使用 1 规范正规化的稀疏 CCA。我们表明,最小二乘方程式及其扩展的 CCA 可以有效地解决。例如,相当于 2 规范的最小二乘配方和正规化的扩展可以通过计算迭代共轭梯度算法 LSQR 进行处理[14],这种算法可以处理非常大规模的问题。我们通过建立 OPLS 和 CCA 之间的等价关系使最小二乘方程式扩展到正交最小二乘(OPLS)和偏最小二乘法(PLS)。此外,我们分析正则化在 CCA 上的效果。特别是,我们表明,CCA 投影,让一群变量是独立的正规化另组多维变量,阐明正规化在 CCA 上的影响。此外,它能显示出我们的分析可以扩展到内核诱导功能空间。提供更多细节的补充文件,可以发现在计算机协会数字图书馆在 /10.1109/TPAMI.2010.160。 注释：训练样本的数量,数据维数,数量的标签分别用n 、d 、k 。 x ? Rd 表 i? ?i 1 n示第i 个观察。并且 y ? Rk 表示编码对应的标签信息。让 X ? x ,?, x ? Rd i ? ? i 1 n ? ? ? ?n ? ?n 数据矩阵， Y ? y ,?, y ? Rk?n 是类标签矩阵。我们假设所有的 x 和 y 1 n i i ?1 i i?1 是集中的， ?n x i?1 i ? 0 和 ?n y ? 0 i?1 i 。  F 弗罗贝尼乌斯的规范表示矩阵 A。I 是 A单位矩阵和 e 是一个单位