最小二乘法原理及算例.ppt

 实例讲解 某种合成纤维的强度与其拉伸倍数有直接关系，下表是实际测定的个纤维样品的强度与相应拉伸倍数的记录。 提示：将拉伸倍数作为, 强度作为,在座标纸上标出各点，可以发现什么? 数据表格 　 从上图中可以看出强度与拉伸倍数大致成线形关系，可用一条直线来表示两者之间的关系。 解：设 * ，令δ*，根据最小二乘原理，即使误差的平方和达到最小，也就是令 ∑δ 为最小 ，即求使   ()  有最小值的和的值。 计算出它的正规方程得 解得： , 直线方程为：* 一 问题的提出 插值法是使用插值多项式来逼近未知或复杂函数的，它 要求插值函 数与被插函数在插值节点上函数值相同 ，而在其他点上没有要求。在非 插值节点上有时函数值会相差很大 。若要求在被插函数的定义区间上， 所选近似函数都能与被插函数有较好的近似，就是最佳逼近问题。 最佳逼近是在函数空间 中选 () 满足 但由于绝对值函数不宜进行分析运算,常将上式化为 来讨论 ，于是最佳逼近问题变为最佳平方逼近问题 ,而离散的最佳平方逼 进问题就是常说的曲线拟合 它们都可用最小二乘法求解。 曲线拟合的最小二乘法 最小二乘原理 当由实验提供了大量数据时,不能要求拟合函数 在数据点 处的偏差,即 (,…) 严格为零,但为了使近似曲线尽量反映所给数据点的变化趋势 ,需对偏差有所要求.通常要求偏差平方和 最小,此即称为最小二乘原理 •最小二乘法的求法 •最小二乘法的几种特例 例 题 二 线性最小问题的存在与唯一 在科学实验中，很多情况数据间存在线性或可转化为线性的关系。线性最小二乘是最基本也是最重要的一种。 线性最小二乘问题与线性最小二乘求解 设 其中  ， ，  当 时，上方程超定方程组 令 ， 一般，超定方程无通常意义下解， 既无使 。对这类方程求解意义是求，使         为最小， 称为的最小二乘解。 最小二乘解的存在性与唯一性 定理 ：* 为 的最小二乘解充要条件 * 证明 ：充分性：若存在* ，使 * 则对任意向量 令 * 有  –   –* –（，（ –*））    –*     –* *为的最小二乘解。 必要性： 令  – （，，， ） （） 则由多元函数极值的必要条件知，若*为极值点， 则  （） ——  * 而（，，， ） – （）  （） 由 —— （，，  ） 。  若*为最小二乘解，则 *。证毕 称为最小二乘问题的 法方程组。当 （） 的秩为 ，既的列线性无关时， 有唯一解。 三 线形模型的正规方程 关于拟和模型必须能反映离散点分布基本特征。 常选取是线性拟和模型，既所属函数类为 { ，，… }， 其中  ，，…  是线性无关的基函数 于是 （）  （） 通常选取每个是次数的简单多项式，即 是次 数  的次多项式空间。 取 （） ， ，，…， { , ，…， }， 从而（） … ()