Numerical solution of the maximum correlation problem最大相关问题的数值解法.pdfVIP

谨以此论文献给我的家人和朋友！ 王坤 最大相关问题的数值解法 摘 要 典型相关分析(canonical correlation analysis：CCA)是有效地评估两组变量之 间相关性的一种重要的工具。CCA 理论与方法已经广泛应用于聚类分析、模式 识别、数据分类、主分量分析及生物信息学等领域。 多组变量间的最大相关问题(MCP)作为CCA 的一种重要推广在许多应用领 域上起着重要作用。应用Lagrange 乘子理论可知，MCP 的解满足的一阶最优性 条件为多元特征值问题(MEP)。Horst 方法(也称为幂法)是由Horst 提出的求解多 元特征值问题（MEP）的一种较早的数值方法。Gauss-Seidel 迭代是由Chu 和 Watterson 提出的对 Horst 方法的一种改进格式。P-SOR 迭代方法是由孙继广将 SOR 的加速思想与Horst 方法结合提出的，它是Gauss-Seidel 迭代法的推广。 P-SSOR 方法是对P-SOR 方法的改进。已有的理论表明，前述几种方法可以求得 MEP 的解，但不保证一定获得MCP 的全局解。 交替变量法(AVM)是Zhang 和 Liao 提出的直接求解MCP 的一种迭代法。虽然理论证明该方法的收敛结果受初 始迭代向量选择的影响很小，但该方法不保证一定收敛，收敛时，不保证获得的 是MCP 的全局解。 本文研究MCP 的数值解法及相关理论，主要贡献有三方面。首先，本文分 析了MCP 的性质，提供了MCP 目标函数值的上、下界，基于此，本文给出一 种有效的迭代初始策略。其次，本文对已有的几种迭代算法的单调收敛性给出了 统一的、简洁的证明。最后，应用 PDEs 的多网格思想，设计了求解MCP 的一 种新的方法。同时，本文给出了 Gauss-Seidel 算法的对称形式(symmetric Gauss-Seidel)。数值实验表明，相较于Horst、Gauss-Seidel 和P-SOR 方法，对称 的Gauss-Seidel 所需要的迭代步数明显减少。当然，利用初始策略使得求解MCP 更加有效。而多网格算法(内部的迭代格式选择对称的 Gauss-Seidel 算法或者 AVM)在寻找MCP 全局解上更具有优势。 关键词：多元统计；最大相关问题；多元特征值问题；Horst 方法；Gauss-Seidel 方法；P-SOR 方法；交替投影方法；全局解；初始点 NumericalMethods NumericalMethods NNuummeerriiccaallMMeetthhooddss ForMaximalCorrelationProblem ForMaximalCorrelationProblem FFoorrMMaaxxiimmaallCCoorrrreellaattiioonnPPrroobblleemm Abstract Abstract AAbbssttrraacctt Canonical correlation analysis (CCA) is an important and effective tool for assessing the relationship between sets of random variables. CCA has been wildly used in various fields such as cluster analysis, pattern recognition, data classification, principal component analysis, bioi