基于最小二乘法的数据处理问题研究综述..doc

基于最小二乘法的数据处理问题研究综述 摘要：对基于最小二乘法的数据处理方法进行了介绍。首先对传统最小二乘法基本原理进行了介绍，然后根据例子来说明怎样运用传统最小二乘法来解决实际辨识问题。而且本文针对传统最小二乘存在的缺陷进一步阐述了一些改进型最小二乘法，综述了最小二乘法的研究现状，最后对最小二乘的发展趋势做了预测。 关键字：最小二乘法 数据处理 改进型最小二乘法 发展趋势 1引言 在科学实验中经常要把离散的测量数据转化为直观的便于研究的曲线方程，即曲线拟合[1]。由于在实验室或实际应用中，误差是不可避免的，所以为了不把原有离散数据中的误差引入，人们经常用拟合来确定模拟函数。拟合方法不要求模拟函数通过已知离散的点，而追求的是所有点到模拟函数达到某种误差指标的最小化，是一种整体上的逼近性质。最小二乘法是解决这类曲线拟合中一种较为常用的方法，根据最小二乘法的定义[2]：“最小二乘法是一种数学优化技术它通过最小化误差的平方和寻找数据的最佳函数匹配。 （1） 方程组可能无解。即很可能不存在一组实数x1,x2,……,xn使 （2） 恒成立。因此我们转而求其次，设法找到实数组 x1，x2，…，xn使误差的平方和最小，这样的 x1，x2，…，xn称为方程组的最小二乘解，这样问题就叫最小二乘法问题[5]。 2.2 最小二乘法的应用举例 理论只有被利用才能体现其价值意义，下面我就以系统辨识中的最小二乘法的例子为大家讲讲怎样在实际中应用最小二乘法解决辨识问题。 考虑如下图1中的线性系统： （） （4） 式中： （5） （6） 则系统可表示为： （7） 设样本和参数集为： （8） h(k)为可观测的量，差分方程可写为最小二乘形式 （9） 那么如何在系统噪声e(k)存在的情况下从该方程中正确的解出，即是系统辨识的任务。 为了求出，我们面临三大问题：一是输入信号的选择，二是判决准则的选取，三是辨识算法的选择，下面一一探讨。 一．选择输入 为了准确辨识系统参数，我们对输入信号有两大要求，一是信号要能持续的激励系统所有状态，二是信号频带能覆盖系统的频带宽度。除此之外还要求信号有可重复性，不能是不可重复的随机噪声，因此我们通常选择M序列或逆M序列作为输入。 二．准则函数 因为本文主要探讨最小二乘方法，在此选取准则函数 （10） 使准则函数的估计值记做，称作参数的最小二乘估计值。 在式(7)中，令k=1,2,3,……L，可构成线性方程组： （11） 式中 准则函数相应变为： （12） 极小化,求得参数的估计值，将使模型更好的预报系统的输出。 三．最小二乘算法实现辨识 设使得，则有 （13） 展开上式，并根据以下两个向量微分公式： （14） 得正则方程： （15） 当为正则阵时，有 （16） 且有，所以满足式（16）的唯一使得，这种通过极小化式（12）计算的方法称作最小二乘法。而且可以证明，当噪声e(k)是均值为0的高斯白噪声时，可实现无偏估计。 3 最小二乘法改进型 3.1传统最小二乘存在的问题 最小二乘法存在一些缺陷制约着最小二乘法的应用，在处理日益复杂的参数估计、系统辨识等问题中，最小二乘法在系统辨识中存在的缺陷逐渐显现出来。如传统的最小二乘法不适合在动态辨识系统中使用，而且其参数估计存在偏差，耗时较长等问题，因此，随着科学技术的发展，涌现出了很多改进型的最小二乘法。 3.2递推最小二乘算法 为了减少计算量，减少数据在计算机中占用的内存，并实时辨识出系统动态特性，我们常利用最小二乘法的递推形式[7]。 下面我们来推导递推最小二乘算法的原理。 首先，将式(12)的最小二乘一次完成算法写为 （17） 定义 （18） 式中 （19） 式中，h(i)是一个列向量，也就是HL的第i行的倒置，P(k)是一个方阵，它的维数取决于未知参数的个数，假设未知参数的个数是n，则P(k)的维数是n×n。