高等代数第九章 7第七节 向量到子空间的距离.最小二乘法.pptVIP

第七节 向量到子空间的最小距离·最小二乘法 * 在解析几何中，两个点α和β间的距离等于向量α-β的长度. 在欧氏空间中我们同样可引入 上页 下页 返回 定义13 长度|α-β|称为向量α和β的距离, 记为d(α, β). 不难证明距离d(α, β)=|α-β|的三条性质： 1) d(α, β)=d(β, α); 2) d(α, β)≥0，并且仅当α=β时等号才成立； 3) d(α, β)≤d(α, γ)+d(γ, β) （三角不等式） (证明留给大家作练习.) 上页 下页 返回 在中学所学几何中知道一个点到一个平面（或一条直线）上所有点的距离以垂线最短. 下面可以证明一个固定向量和一个子空间中各向量间的距离也是以“垂线最短”. 先设一个子空间W，它是由向量α1, α2,…,αk所生成，即W=L(α1, α2,…,αk). 说一个向量α垂直于子空间W ，就是指向量α垂直于W中任何一个向量. 易证α垂直于W的充分必要条件是α垂直于W中的每个向量αi(i=1,2,…,k). 上页 下页 返回 现给定β ，设γ是W中的向量，满足β-γ垂直于W. 要证明β到W中各向量的距离以垂线最短，就是要证明，对于W中任一向量δ ，有 |β-γ| ≤ |β-δ|. 我们可以画出下面的示意图： 证明 由 β-δ=(β-γ)+(γ-δ) 因W是子空间，γ∈W,δ∈W, 则γ-δ∈W. 故β-γ垂直于γ-δ. 由勾股定理， |β-γ|2+|γ-δ|2=|β-δ|2. 故 |β-γ| ≤ |β-δ|. 证毕. W β γ δ γ-δ β-γ β-δ 上页 下页 返回 这个几何事实可以用来解决一些实际问题. 其中的一个应用就是解决最小二乘法问题. 例 已知某种材料在生产过程中的废品率y与某种化学成分x有关. 下列表中记载了某工厂生产中y与相应的x的几次数值： y(%) 1.00 0.9 0.9 0.81 0.60 0.56 0.35 x(%) 3.6 3.7 3.8 3.9 4.0 4.1 4.2 我们想找出y对x的一个近似公式. 这就证明了，向量到子空间各向量间的距离以垂线最短. 上页 下页 返回 解 把表中数值画出图，发现它的变化趋势近于一条直线. 因此我们决定选取x的一次式ax+b来表达. 当然最好能选到适当的a, b使得下面的等式 3.6a+b–1.00=0 ， 3.7a+b–0.9=0 ， 3.8a+b–0.9=0 ， 3.9a+b–0.81=0 ， 4.0a+b–0.60=0 ， 4.1a+b–0.56=0 ， 4.2a+b–0.36=0 . 都成立. 实际上是不可能的. 任何a, b代入上面各式都发生些误差. 于是想到找 a, b 使得各式的平方和最小，即找a, b使 上页 下页 返回 (3.6a+b–1.00)2 + (3.7a+b–0.9)2 + (3.8a+b–0.9)2 最小. 这里讨论的是误差的平方即二乘方，故称为最小二乘法. 现在转向一般的 +(3.9a+b–0.81)2 + (4.0a+b–0.60)2 + (4.1a+b–0.56)2 +(4.2a+b–0.36)2 上页 下页 返回 最小二乘法问题：线性方程组 可能无解. 即任何一组数 x1,x2,…,xs 都可能使 (1) 不等于零. 我们设法找实数组x10,x20,…,xs0使(1)最小，这样的x10,x20,…,xs0称为方程组的最小二乘解.这种问题就叫最小二乘法问题. 上页 下页 返回 下面利用欧氏空间的概念来表达最小二乘法，并给出最小二乘解所满足的代数条件. 令 (2) 用距离的概念，(1)就是 上页 下页 返回 最小二乘法就是找x10,x20,…,xs0使Y与B的距离最短.但从(2)，知道向量Y就是 把A的各列向量分别记成α1, α2,…,αs. 由它们生成的子空间为L