《线性代数应用题》课件.pptVIP

*************************************6.1向量的内积内积的定义和性质在实向量空间R?中，向量x=[x?,x?,...,x?]?和y=[y?,y?,...,y?]?的内积（点积）定义为：?x,y?=x·y=x?y?+x?y?+...+x?y?=x?y内积满足以下性质：对称性：?x,y?=?y,x?线性性：?ax+by,z?=a?x,z?+b?y,z?正定性：?x,x?≥0，当且仅当x=0时等号成立内积可以用来定义向量的长度（范数）：‖x‖=√?x,x?柯西-施瓦茨不等式：|?x,y?|≤‖x‖·‖y‖三角不等式：‖x+y‖≤‖x‖+‖y‖正交向量和规范正交基如果两个非零向量x和y的内积为零，即?x,y?=0，则称它们正交（垂直）。向量组{q?,q?,...,q?}称为正交向量组，如果其中任意两个不同的向量都正交，即对于i≠j，有?q?,q??=0。如果正交向量组中的每个向量都是单位向量（‖q?‖=1），则称为规范正交向量组（或标准正交基）。规范正交基的重要性质：向量在规范正交基下的坐标计算简单：如果{q?,q?,...,q?}是R?的一组规范正交基，则任意向量x可表示为x=Σ?????x,q??q?规范正交基简化了许多计算，例如正交矩阵Q满足Q?Q=I，其逆等于其转置规范正交基保持内积和范数不变，即如果Q是正交矩阵，则?Qx,Qy?=?x,y?，‖Qx‖=‖x‖6.2施密特正交化施密特正交化过程施密特正交化是将线性无关向量组{v?,v?,...,v?}转化为正交向量组{u?,u?,...,u?}的方法。基本步骤：取u?=v?对于k=2,3,...,n，计算：uk=vk-Σk-1j=1projuj(vk)=vk-Σk-1j=1?vk,uj?/?uj,uj?·uj其中proju(v)表示向量v在向量u方向上的投影。规范化将正交向量组{u?,u?,...,u?}转化为规范正交向量组{q?,q?,...,q?}：qi=ui/‖ui‖，i=1,2,...,n改进的施密特正交化在数值计算中，传统的施密特正交化可能因舍入误差积累导致正交性损失，常用改进的施密特正交化：取q?=v?/‖v?‖对于k=2,3,...,n：rk=vk-Σk-1j=1?vk,qj?qjqk=rk/‖rk‖正交基的构造施密特正交化的典型应用：构造向量空间的正交基或规范正交基QR分解：将矩阵A分解为A=QR，其中Q是正交矩阵，R是上三角矩阵求解最小二乘问题构造正交多项式（如勒让德多项式、切比雪夫多项式等）6.3最小二乘法最小二乘问题的提出当线性方程组Ax=b无解（方程数多于未知数，且方程互相矛盾）时，我们寻找使误差‖Ax-b‖2最小的向量x。几何解释：在列空间Col(A)中找到最接近向量b的点Ax?，即b在Col(A)上的正交投影。误差向量e=b-Ax?垂直于列空间Col(A)，即e⊥Col(A)，这意味着A?e=0。代入得到法线方程（正规方程）：A?(b-Ax?)=0，即A?Ax?=A?b。最小二乘解的求解最小二乘问题的解：x?=(A?A)?1A?b，其中A?=(A?A)?1A?称为A的伪逆（或Moore-Penrose广义逆）。求解最小二乘问题的方法：直接法：解法线方程A?Ax?=A?bQR分解法：将A分解为A=QR，其中Q是正交矩阵，R是上三角矩阵，然后求解Rx?=Q?b奇异值分解（SVD）法：将A分解为A=UΣV?，然后求解x?=VΣ?U?b，其中Σ?是Σ的伪逆注意事项：当A?A接近奇异时，直接法可能导致数值不稳定QR分解和SVD方法通常比直接法更稳定如果A的列线性相关，最小二乘解不唯一，通常选择范数最小的解6.4应用实例：曲线拟合x原始数据拟合曲线曲线拟合是最小二乘法的典型应用。给定一组数据点(x?,y?),(x?,y?),...,(x?,y?)，我们希望找到一条曲线（通常是多项式）最好地拟合这些点。对于d次多项式拟合，我们寻找函数f(x)=a?+a?x+a?x2+...+a?x?，使得误差平方和Σ????[y?-f(x?)]2最小。这可以表示为最小二乘问题：Xa=y，其中X是范德蒙德矩阵：X=[1,x?