[工学]最小二乘曲线拟合与参数辨识.pptVIP

一般最小二乘参数辨识流程图 §1 线性最小二乘问题 一、最小二乘问题的一般提法 在实际应用中，经常遇到下列数据处理问题： 已知函数 在m个点上的数据表，寻求其近似函数。 设 的近似函数为 其中 是某函数族中的已知线性无关函数。 称为 残向量 寻求一组常数 ，要求 的2-范数达到最小。 如果m=n，且 以及 即多项式插值 记 则得到最小二乘问题： 上述问题的解也称为方程组 的最小二乘解。 当 时称之为超定（或矛盾）方程组。 所谓”曲线拟合”,是指根据给定的数据表,寻找一个 简单的表达式来”拟合”该组数据,此处的”拟合”的含义 为:不要求该表达式对应的近似曲线完全通过所有的数 据点,只要求该近似曲线能够反映数据的基本变化趋势. 二、最小二乘多项式拟合 引例1：考察某种纤维的强度与其拉伸倍数的关系. 下表是实际测定的24个纤维样品的强度与相应的 拉伸倍数的数据记录: 8.1 10 24 3.5 4.6 12 8.1 9.5 23 4.2 4.5 11 8 9 22 3.5 4 10 8.5 8.9 21 4 4 9 7 8 20 2.7 3.5 8 6.5 8 19 3 3.5 7 5.3 7.1 18 2.5 2.7 6 6 6.5 17 2.8 2.7 5 6.4 6.3 16 2.5 2.5 4 5.5 6 15 1.8 2.1 3 5 5.2 14 1.3 2 2 5.5 5 13 1.4 1.9 1 强 度 拉伸倍数 编号 强 度 拉伸倍数 编号 可以看出,纤维强度随 拉伸倍数增加而增加 并且24个点大致分 布在一条直线附近 该直线称为这一问题的数学模型。 因此可认为强度与 拉伸倍数之间的主 要关系是线性关系 怎样确定a,b,使得直线能较好地反映所给数据的基 本“变化趋势”? 采用最小二乘的思想 令 问题转化为求参数 使 达到最小值。 * * m次独立试验的数据 1、引言 1801年初，天文学家皮亚齐发现了谷神星。 1801年末，天文爱好者奥博斯，在高斯预 言的时间里，再次发现谷神星。 1802年又成功地预测了智神星的轨道。 高斯自己独创了一套行星轨道计算 理论。 高斯仅用1小时就算出了谷神星的 轨道形状，并进行了预测 1794年，高斯提出了最小二乘的思想。 未知量的最可能值是使各项实际观测值和计算值之间差的平方乘以其精确度的数值以后的和为最小。 1794年，高斯提出的最小二乘的基本原理是 2、最小二乘辨识方法的基本概念 通过试验确定热敏电阻阻值和温度间的关系 当测量没有任何误差时，仅需2个测量值。 每次测量总是存在随机误差。 ? 使 最小 /* minimax problem */ 太复杂? ? 使 最小 不可导，求解困难? ? 使 最小 测量误差的平方和最小? 常见做法： 2.1 利用最小二乘法求模型参数 根据最小二乘的准则有 根据求极值的方法，对上式求导 2.1 利用最小二乘法求模型参数 2.2 一般最小二乘法原理及算法 2.2 一般最小二乘法原理及算法 若考虑被辨识系统或观测信息中含有噪声 如果定义 2.2 一般最小二乘法原理及算法 2.2 一般最小二乘法原理及算法 2.2 一般最小二乘法原理及算法 2.2 一般最小二乘法原理及算法 2.2 一般最小二乘法原理及算法 证明： 证明： 根据第（1）式的证明，显然有 2.2 一般最小二乘法原理及算法 解：由题意得量测方程 2.2 一般最小二乘法原理及算法 2.3 加权最小二乘法原理及算法 一般最小二乘估计精度不高的原因之一是对测量数据同等对待 各次测量数据很难在相同的条件下获得的 有的测量值置信度高，有的测量值置信度低的问题 对不同置信度的测量值采用加权的办法分别对待 置信度高的，权重取得大些；置信度低的，权重取的小些 2.3 加权最小二乘法原理及算法 2.3 加权最小二乘法原理及算法 2.3 加权最小二乘法原理及算法 马尔可夫估计? 2.3 加权最小二乘法原理及算法 例3.2 用2台仪器对未知标量各直接测量一次， 量测量分别为z1和z2，仪器的测量误差均值为0，方 差分别为r和4r的随机量，求其最小二乘估计，并 计算估计的均方误差。 2.3 加