向量到子空间的距离.最小二乘法.ppt

§7 向量到子空间的距离·最小二乘法 一、向量到子空间的距离 二、最小二乘法 * 主要内容 向量到子空间的距离 目录 下页 返回 结束 最小二乘法 三角不等式 首页 上页 下页 返回 结束 在解析几何中, 两个点 ? 和 ? 间的距离等于向量 ? -? 的长度. 在欧氏空间中我们同样可引入 在中学所学几何中知道一个点到一个平面 或一条直线 上所有点的距离以垂线最短.下面可以证明一个固定向量和一个子空间中各向量的距离也是以“垂线最短” . 设子空间 W, 它由向量 ?1, ?2, …, ?k所生成,即 W L ?1, ?2, …, ?k . 说一个向量 ? 垂直于子空间 W, 就是指向量 ? 垂直于 W 中任何一个向量. 首页 上页 下页 返回 结束 容易验证 ? 垂直于 W 的充分必要条件是? 垂直于每个?i i 1, 2, … , k . 设 ? 是给定的一向量, ? 是 W 中的向量, 且满 足 ? - ? 垂直于 W. 要证明 ? 到 W 中各向量的距离 以垂线最短, 就是要证明, 对 W 中任一向量 ? , 有 | ? - ? | ? | ? - ? | . 画出下面的示意图： 首页 上页 下页 返回 结束 证 ? - ? ? - ? + ? - ? . 因 W 是子空间, ? ? W, ? ? W, 则 ? - ? ? W. 故 ? - ? 垂直于? - ? . 由勾股定理, 有 故 首页 上页 下页 返回 结束 上述几何事实可以用来解决一些实际问题.其中的一个应用就是解决最小二乘法问题.先看下面的例子. 例 已知某种材料在生产过程中的废品率 y与某种化学成分 x 有关.下列表中记载了某工厂生产中 y 与相应的 x 的几次数值： y ? 1.00 0.9 0.9 0.81 0.60 0.56 0.35 x ? 3.6 3.7 3.8 3.9 4.0 4.1 4.2 1. 引例 首页 上页 下页 返回 结束 解 把表中数值画出图来看, 发现它的变化趋势近于一条直线. 我们想找出 y 对 x 的一个近似公式. 首页 上页 下页 返回 结束 因此我们决定选取 x 的一次式 ax + b 来表达 .当然最好能选到适当的 a , b 使得下面的等式 3.6a + b - 1.00 0 , 3.7a + b - 0.9 0 , 3.8a + b - 0.9 0 , 3.9a + b - 0.81 0 , 4.0a + b - 0.60 0 , 4.1a + b - 0.56 0 , 4.2a + b - 0.35 0 都成立. 实际上是不可能的. 任何 a , b 代入上面 首页 上页 下页 返回 结束 各式都会发生些误差. 于是想找 a , b 使得上面各 式的误差的平方和最小，即找 a , b 使 最小. 这里讨论的是误差的平方即二乘方，故称为 最小二乘法. 现在转向一般的最小二乘法问题. 首页 上页 下页 返回 结束 最小二乘法问题 线性方程组 可能无解. 即任何一组数 x1 , x2 , … , xs 都可能使 不等于零. 2. 最小二乘法 首页 上页 下页 返回 结束 我们设法找 x10 , x20 , … , xs0 使 1 最小,这样的 x10 , x20 , … , xs0 称为方程组的最小二乘解. 这种问题就叫做最小二乘法问题. 下面我们利用欧氏空间的概念来表达最小二乘法, 并给出最小二乘解所满足的条件.令 3. 最小二乘法的代数表示 首页 上页 下页 返回 结束 2 用距离的概念, 1 式就是 最小二乘法就是找x10 , x20 , … , xs0 使 Y 与 B 的距离最短. 但从 2 知道向量 Y 就是 首页 上页 下页 返回 结束 * * *