7向量到子空间的最小距离·最小二乘法.DOCVIP

§7 向量到子空间的最小距离·最小二乘法 一、 垂线最短 1．在解析几何中，两个点和间的距离等于向量的长度. 2．定义13 长度称为向量和的距离，记为 不难证明距离的三条性质： 1）; 2），并且仅当时等号才成立； 3）（三角不等式） 3．垂线最短 在中学所学几何中知道一个点到一个平面（一条直线）上所有点的距离以垂线最短 .下面可以证明一个固定向量和一个子空间中各向量间的距离也是以“垂线最短”. 先设一个子空间，它是由向量所生成，即.说一个 向量垂直于子空间，就是指向量垂直于中任何一个向量.易证垂直于的充要 条件是垂直于每个. 现给定，设是中的向量，满足垂直于.要证明到中各向量的距离 以垂线最短，就是要证明，对于中任一向量，有 . 我们可以画出下面的示意图： 证明 因是子空间，,则.故垂 直于. 由勾股定理， 故 这就证明了，向量到子空间各向量间的距离以垂线最短. 这个几何事实可以用来解决一些实际问题.其中的一个应用就是解决最小二乘法问题. 例 已知某种材料在生产过程中的废品率与某种化学成分有关.下列表中记载了 某工厂生产中与相应的的几次数值： (%) 1.00 0.9 0.9 0.81 0.60 0.56 0.35 (%) 3.6 3.7 3.8 3.9 4.0 4.0 4.2 我们想找出对的一个近似公式. 二、最小二乘法问题： 线性方程组 可能无解. 即任何一组数都可能使 (1) 不等于零. 我们设法找使（1）最小，这样的称为方程组的最小二 乘解. 这种问题就叫最小二乘法问题. 下面利用欧氏空间的概念来表达最小二乘法，并给出最小二乘解所满足的代数条件. 令 (2) 用距离的概念，（1）就是 最小二乘法就是找 使与的距离最短. 但从（2），知道向量就是 把的各列向量分别记成.由它们生成的子空间为. 就是中的向量. 于是最小二乘法问题可叙述成： 找使（1）最小，就是在中找一向量，使得到它的距离比到 子空间中其它向量的距离都短. 应用前面所讲的结论，设 是所求的向量，则 必须垂直于子空间.为此只须而且必须 回忆矩阵乘法规则，上述一串等式可以写成矩阵相乘的式子，即 而 按行正好排成矩阵，上述一串等式合起来就是 或 这就是最小二乘解所满足的代数方程，它是一个线性方程组，系数矩阵是，常数项是 .这种线性方程组总是有解的. 回到前面的例子，易知 最小二乘解所满足的方程就是 , 即为 解得 （取三位有效数字）.