线性代数课件7 4向量到子空间的距离最小二乘法.pptVIP

第四节 向量到子空间的距离 ? 最小二乘法 在欧氏空间中可以引入向量间的距离概念。 定义 8 长度 | ??? | 称为向量 ? 和 ? 的距离， 记为 d ( ? , ? ). 不难证明距离的三条基本性质： （ 1 ） d ( ? , ? ) = d ( ? , ? ) ； （ 2 ） d ( ? , ? ) ? 0 当且仅当 ? = ? 时等号 成立。 （ 3 ） d ( ? , ? ) ? d ( ? , ? ) + d ( ? , ? ) 在中学几何中学过一个点到一个平面（或一 条直线）上所有点的距离以垂线为最短，下面可 以证明一个固定向量和一个子空间中各向量间的 距离也以“垂线最短”。 先设一个子空间 W , 它是由向量 ? 1 , ? 2 , …, ? k 所生成，即 W=L ( ? 1 , ? 2 , …, ? k ). 说一个向 量 ? 垂直于子空间 W ，就是指向量 ? 垂直于 W 中 任意一个向量。现给定 ? ，设 ? 是 W 中的向量， 满足 ? ? ? 垂直于 W ，则对 W 中任意向量 ? ， 有 | ? ? ? | ? | ? ? ? | 证明 ? ? ? = （ ? ? ? ） + （ ? ? ? ） 因 W 是子空间， ? ? W ， ? ? W ，则 ? ? ? ? W ，故 ? ? ? 垂直于 ? ? ? 。 ? ? ? W 由勾股定理 | ? ? ? | 2 + | ? ? ? | 2 = | ? ? ? | 2 故 | ? ? ? | ? | ? ? ? | 这个几何事实可以用来解决一些实际问题。 其中的一个应用就是解决最小二乘法问题。 最小二乘法问题：线性方程组 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 0 0 0 2 2 1 1 2 2 2 22 1 21 1 1 2 12 1 11 n s ns n n s s s s b x a x a x a b x a x a x a b x a x a x a ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 可能无解，即任何一组数 x 1 , x 2 , …, x s 都能使 ? ? ? ? ? ? n i i s is i i b x a x a x a 1 2 2 2 1 1 ) ... ( 不等于 0 。我们设法找 x 1 0 , x 2 0 , …, x s 0 使（ 2 ）最小， 称为方程组（ 1 ）的最小二乘解。这种问题就叫最 小二乘问题。 （ 1 ） （ 2 ） 令 , ... .... .......... .......... ... ... ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ns n n s s a a a a a a a a a A 2 1 2 22 21 1 12 11 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? n b b b B ? 2 1 , ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? s x x x x ? 2 1 Ax x a x a x a y s j j nj s j j j s j j j ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 1 1 2 1 1 ? （ 3 ） 用距离的概念，（ 2 ）就是 | y ? B | 2 。 由（ 3 ） ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ns s s n n n a a a x a a a x a a a x y ? ? ? 2 1 2 22 12 2 1 21 11 1 ... 把 A 的各列向量分别记为 ? 1 , ? 2 , …, ? s ，由 它们生成的子空间为 L ( ? 1 , ? 2 , …, ? s ) ， y 就 是其中的向量。 于是，找 x 使（ 2 ）最小，就是在