(奇异线性系统的正则化.docVIP

奇异线性系统摘要 线性系统，例如，解决非线性规划问题的求解。线性代数，一个很好的近似x’其中x∈Rn,其满足近似方程AX≈B，。’来逼近x是没有意义的，因为b的右边界的错误和此条件对于矩阵A的限制。为了避免这一问题，通常取代线性方程组Ax=b，，，，并且由后一系统经过电脑所得到的解是对x的近似。这替代被称为正则。本文探讨了各种为线性系统计算稳解的正则化方法。 1.2向量和矩阵的范数 2线性系统 2.线性系统 2.2矩阵的条件数 2.3精确 2.4经典的系统 2.4.1多项式数据拟合：范德蒙系统 2.4.2一个多项式函数的近似：希尔伯特系统3线性系统最小二乘解 3.1奇异值分解 3.2奇异值分解解决线性系统 3.2.1奇异值分解和线性系统的稳定性 3.3秩 4正则化方法 4.1和不适定问题 4.2正则化方法 4.2.1吉洪诺夫方法 4.2.2截断奇异值分解（TSVD） 5结论 截断奇异值分解（TSVD） 1.简介 我们将开始研究线性系统的线性代数基本概念。 1.1线性系统的基本概念线性系统方程的形式AX＝B，是一个已知的M×n的coefficient矩阵，×n的矩阵，b是m维的向量，形式如下：，x是n维的未知向量，形式如下：， 线性方程组，包括以下内容： 用牛顿迭代法求解非线性方程组。 2.Curve拟合或多项式插值曲线。3.用有限差分在有限区间[0多项式逼近，解决线性系统Ax=b，其中是希尔伯特矩阵。 对于任何给定的线性系统的增广矩阵 定理1.1 考虑系统的AX＝B，coe?cient矩阵矩阵[A|b],大小M×（N+1）。，线性系统 AX＝B是不的（即，没有解存在）当且仅当等级[A\b]的秩。 2AX＝B有一个特解，当且仅当=[A|b]的秩=n 3.AX＝B有许多解当且仅当=[A|b]的秩＜n 1.2向量和矩阵的范数 定义1.2（向量）的范数是一个函数V→R如下三个条件： 1。，任何非零向量X 2。， 3。，任何向量X和Y 三规： 2.奇异线性系统 本章致力于研究线性系统Ax=b我们将展示小线性系统的应用许多的探讨奇异值分解知识（SVD），我们将讨论这个方法将展示如何使用线性系统 2.1奇异线性系统 线性系统Ax=b如果AX=B是的，计算机Ax=b的解通常是不精确的。换言之，如果 2.2矩阵的条件 这一条件是衡量如何接近一个矩阵。 定义2.3。×n的矩阵，则条件数是这样定义的，condA，然后举例。若这一结果接近1，则是正常的条件，否则称为奇异的。若这一条件数很大，即使b的一个很小的误差也会引起解的很大的误差，否则不会出现这种情况。 例2.4 2.3检测线性精确 一旦系统AX＝B已被计算，这自然的准确然而，在大多数实际应用中，精确解。在这种情况下，最是计算残差R=B?Ax看相对残余多小。不幸的是，一个相对较小的残余不保证解的精度。下面的例子说明了这一事实。 2.4经典的系统 线性系统中出现数学。下面我们举一些例子 2.4.1多项式数据拟合：范德蒙系统 2.4.2由一个多项式函数：希尔伯特定义2.8希尔伯特。×n的，其中元素。 3。线性系统最小二乘解 在实际情况下，我们需要解决一个线性方程组Ax=b是方和/或奇异。在这种情况下，解可能根本不存在，存在例如，当是×N维的并且mn，我们有一个超定系统（即，方程的个数大于未知数的个数），一个超定系统通常没有解。相反，一个欠定系统（m＜n）通常有一个解。在这些情况下，我们最好的希望向量X，换句话说，我们寻求一个向量x， AX＝B被称为线性最小二乘问题（LSP）。线性最小二乘问题正式定义如下。 定义3.1尽可能的小。 3.1奇异值分解 ×n的矩阵，U是m×m的矩阵,V是n×n的矩阵，是m×n的矩阵，则A的奇异值分解如下：。 3.2用奇异值分解解决线性系统 3.2.1奇异值分解和线性系统的稳定性 3.3秩 4。正则化方法 在这一章中，我们给出和离散问题的一种简要介绍。我们正则化方法提高了计算精度我们集中在两个方法，如截断奇异值分解（TSVD）和吉洪诺夫的方法。 4.1和不适定问题 的?cient矩阵方程组的数值处理取决于矩阵A的的类型 两重要的，很多实际问题都属于这两个类之一。 1。秩的矩阵的一簇小奇异值，且大的和小的奇异值之间。这意味着一个或多个行列几乎是线性组合 2。离散问题。在这里，所有奇异值逐渐零，同时最大的和最小的非零奇异值之间的比例是大的这些矩阵的数值秩没有概念。不适定问题，它们本质上是欠定一簇小奇异值因此问题挑出一个有用的稳定的解决方案有必要将奇异值的一步这是正规化的目的。 4.2正则化方法 得到一个有用的解决离散或一个方法是正则化。正则化方法的主要思想是新问题或方法，输入数据的噪声阻尼使一个线性解AX=B系统更“正规”或光滑。解决问题普通的方法给出了不可接受的解决方案，这样