超定方程组最小二乘解教案资料.docVIP

超定方程组最小二乘解 最小二乘法广泛地应用于工程计算中，用最小二乘法消除（平滑）误差，用最小二乘法从有噪声的数据中提取信号，从海量数据中找出数据变化的趋势，……。甚至利用简单函数计算复杂函数的近似值，我们并不期望它的近似值多么精确（事实上很多时候也不用很精确），尽管如此还是希望计算出的近似数据与原始数据之间有相似之处。如果从线性代数角度来理解最小二乘法，实际上是将一个高维空间的向量投影到低维子空间所涉及的工作。 超定方程组的最小二乘解 当方程组GX=b的方程数多于未知数个数时，对应的系数矩阵G的行数大于列数，此时方程组被称为是超定方程组。设G=(giu)m×n，当mn时即所谓的高矩阵，绝大多数情况下，超定方程组没有古典意义下的解。超定方程组的最小二乘解是一种广义解，是指使残差r = b – GX 的2-范数达取极小值的解，即 该问题是一个优化问题。 命题1：如果X*是正规方程组GTGX=GTb的解，则X*是超定方程组GX=b的最小二乘解 证 由题设可得，GT (b – GX*)=0。对任意n维向量Y，显然有 (X* – Y)TGT (b – GX*)=0 考虑残差2-范数平方，由 上式右端利用内积，得 从而有 || b – GY ||2 ≥ || b – GX*||2 等式仅当Y=X*时成立。所以X*是超定方程组GX=b的最小二乘解。 命题2：如果X*是超定方程组GX=b的最小二乘解，则X*满足正规方程组GTGX=GTb 证 由题设，，利用2-范数与内积关系，知X*是下面二次函数的极小值点 ?(X) = (GX，GX) – 2(GX，b) + (b，b) 取任意n维向量v，对任意实数t，构造一元函数 g(t) = ?(X* + t v) 显然， g(t) 是关于变量t的二次函数 g(t) = (G (X* + t v)，G (X* + t v)) – 2(G (X* + t v)，b) + (b，b) = g(0) + 2t [(GX*，Gv) – (Gv，b)]+ t2 (Gv，Gv) 由题设t=0是g(t)的极小值点。由极值必要条件，得。即 (GX*，Gv) – (Gv，b)=0 将左端整理化简，便得 (Gv，GX* – b ) =0 利用内积性质，得 ( v，GT(GX* – b ) )=0 由v的任意性，得GT(GX* – b ) =0 最小二乘解的几何意义 首先考虑一个简单的超定方程组 该方程组的右端向量是三维向量，系数矩阵的每一列也是三维向量，但待求的未知向量却是二维向量。将系数矩阵按列分块，G =[?1，?2]，记右端向量为?。则方程组求解问题可表示为求组合系数x和y使 x?1 + y?2 = ? GX*?rmin =b – GX*的向量的线性组合问题。由于两个向量?1，?2不构成三维空间的一组基，所以一般情况下这一问题无解。而由向量?1，?2张成的子空间span{?1，?2}是一张平面，记为?。则超定方程组的最小二乘解实际上是求X*，使GX* GX* ? rmin =b – GX* GTGX=GTb 得 GT (b –GX * ) = 0 上式的几何意义可解释为：最小二乘解的残差向量与超定方程组的系数矩阵G的所有列向量正交。从而 (X*)T GT (b –GX * ) = 0 所以 (GX *，b –GX * ) = 0 多媒体教室的管理经验总结 2013年，教育局为我们学校配备了多媒体教室、微机室、实验室等一系列先进的现代化教学设备，基于学校领导的信任，把管理多媒体教室的这项重要任务交给了我，而我刚开始对这份职责也不是很有信心，转眼间已经过去一年多了，在不停的摸索和吸取经验教训的过程中，我学会了很多东西，下面就把我这一年来对多媒体教室管理的方法总结出来和大家分享一下。 一、多媒体教室设备的使用方法及注意事项 多媒体教室主要包括投影仪、电子白板、计算机等主要设备组成的，然而我们只有对这些设备充分了解，熟悉操作的基础上，我们才能用起来得心应手。对于计算机，相信大多数老师操作起来都没有问题，下面我主要就电子白板和投影仪来说一下我的一些个人使用的经验。 电子笔的使用，这种在白板上写字的电子笔里面装有一节电池，不能装反，否则就不能正常工作了，我们要想用电子笔在白板上写出字并且反应灵敏的话，首先我们必须保持电子白板的卫生，把电子白板上面及附近的粉笔灰都擦干净，可以用清水擦黑板，不要用洗涤剂，这样容易腐蚀白板。总结一下就是要做到防尘、防潮、防鼠等，还要做好防雷接地工作，其次要进行笔校准：开始-程序-IQBoard ETpro