数值计算方法第七章 曲线拟合与线性最小二乘问VIP

Step1 令计算的第一列计算的第一列Step2 用左乘（*）式的第二式两端得计算的第二列再由（*）式的第二式，令计算的第二列Step 的计算公式：单位正交向量是列正交矩阵简称GS 方法缺陷：是由的各列反复线性组合得到的，由于舍入误差的影响，可能会导致产生的单位正交向量有大的偏差二、改进的Gram-Schmidt 正交化方法：简称MGS 方法Step1 令记用左乘（*）式的第2式至第n式两端得计算的第一行令则（*）式的第2式至第n式化为此时注意到下面利用同样的方法计算的第二行元素记Step2 令用左乘（*）式的第3式至第n式两端得计算的第二行令记Step 令用左乘（*）式的第k+1 式至第n式两端得计算的第k行令经过r步后得到正交分解特别，若，则为上三角阵，记，则称上述分解为的正交三角分解或分解MGS 算法：记For k=1,2, …,r For j=k+1,2,…,n 输出和注：MGS 算法实现的前列线若，则存在排列阵，使线性无关；从而得到的条件：性无关；得的前列线性正交分解例3：用MGS 方法求下列矩阵的正交分解解: Step1 注意到矩阵的秩为2, 且前2列线性无关. Step2 上述情况下极小最小二乘解的求法：设我们已经完成正交分解：其中是列正交矩阵，是上梯形矩阵方程组的极小最小二乘解可表示为：为了避免求逆，先计算令，则转化为求解下列方程组：可采用G-S 法或平方根法求解特殊情形：的秩为n 例4：用MGS 方法求下列方程组的极小最小二乘解. 解: 三、正交分解和线性方程组的最小二乘解记，且存在排列阵，使得利用前述正交化方法对下梯形矩阵作正交三角分解：其中是列正交阵，是下三角矩阵。分解方法可以按照前述正交化方法从的最后一列倒着进行。令设，且，则总存在分解或，为正交阵，且，为上三角阵。，其中证明：由前面讨论知：将扩充为阶正交矩阵：将扩充为阶正交矩阵：其中，是正交矩阵定理 说明：秩为r的矩阵可分解为上述形式设，且，且矩阵的正交分解为，为正交阵，且，为可逆上三角阵。，其中: 令其中、分别为和维向量则有下列结论：方程组的最小二乘解的一般表达式可表示为其中为方程组的唯一解；为任意的维实向量。对一切，剩余向量为且方程组的极小最小二乘解为定理7.9 中的给出了极小最小二乘解的一种求法证明：令其中、分别为和维向量时为最小二乘解设是方程组的任一最小二乘解一般情况下极小最小二乘解的求法：将和分别扩充为和阶正交阵，则方程组的极小最小二乘解可表示为：设已经作出正交分解：，是列正交矩阵，是上三角矩阵。，其中仍化为方程组求解四、Householde 变换与Givens 变换1、Householde 变换: 设，且，则n阶矩阵称为Householde 变换矩阵（或镜面反射矩阵）H- 矩阵的性质是一个对阵的正交矩阵：反射性：对，是关于的垂直超平面的镜面反射。几何意义：证明：设因为设，且，则存在H- 矩阵，使得证明：若，取：则令为H- 矩阵若，取：H- 矩阵的计算其中对，令，则H- 矩阵的计算过程：计算计算计算由性质和H- 矩阵的计算说明：选择一个适当的向量构造的H- 矩阵，可把指定向量的后n-1 个分量化为0 在上述H- 矩阵的计算过程中，如果，则会导致相近的数相减，从而严重损失有效数字。同时将规格化为第一个分量为1的向量的第一个分量不需要存储，后n-1 个分量存放在的后n-1 个分量位置上H- 矩阵的计算算法（7.1 ）：见教材P200 的计算公式：H- 矩阵在正交分解中的应用设，，且的前列线性无关，寻找一系列H- 矩阵其中为上梯形矩阵对的列逐次进行H- 变换* §1 线性最小二乘问题一、最小二乘问题的一般提法在实际应用中，经常遇到下列数据处理问题：已知函数在m个点上的数据表，寻求其近似函数。设的近似函数为其中是某函数族中的已知线性无关函数。第七章曲线拟合与线性最小二乘问题/*Curve Fitting and Linear Least Square Problem*/ 称为残向量寻求一组常数，要求的2- 范数达到最小。如果m=n ，且以及即多项式插值记则得到最小二乘问题：上述问题的解也称为方程组的最小二乘解当时称之为超定（或矛盾）方程组。所谓”曲线拟合”, 是指根据给定的数据表,寻找一个简单的表达式来”拟合”该组数据,此处的”拟合”的含义为:不要求该表达式对应的近似曲线完全通过所有的数据点,只要求该近似曲线能够反映数据的基本变化趋势. 二、最小二乘多项式拟合引例1：考察某种纤维的强度与其拉伸倍数的关系. 下表是实际测定的24 个纤维样品的强度与相应的拉伸倍数的数据记录: 8.1 10 24 3.5 4.6 12 8.1 9.5 23 4.2 4.5 11 8 9 22 3.5 4 10 8.5 8.9 21 4 4 9 7 8 20