最小二乘法的原理及其应用.docVIP

最小二乘法的原理及其应用 研究背景 在科学研究中，为了揭示某些相关量之间的关系，找出其规律，往往需要做数据拟合，其常用方法一般有传统的插值法、最佳一致逼近多项式、最佳平方逼近、最小二乘拟合、三角函数逼近、帕德（Pade）逼近等，以及现代的神经网络逼近、模糊逼近、支持向量机函数逼近、小波理论等。 其中，最小二乘法是一种最基本、最重要的计算技巧与方法。 它在建模中有着广泛的应用，用这一理论解决讨论问题简明、清晰，特别在大量数据分析的研究中具有十分重要的作用和地位。随着最小二乘理论不断的完善，其基本理论与应用已经成为一个不容忽视的研究课题。本文着重讨论最小二乘法在化学生产以及系统识别中的应用。 最小二乘法的原理 人们对由某一变量t或多个变量t1…..tn?构成的相关变量y感兴趣。如 \o 弹簧 弹簧的 \o 形变 形变与所用的力相关，一个 \o 企业 企业的盈利与其 \o 营业额 营业额， \o 投资收益 投资收益和 \o 原始资本 原始资本有关。为了得到这些变量同y之间的关系，便用不相关变量去构建y，使用如下函数模型 , q个相关变量或p个附加的相关变量去拟和。 通常人们将一个可能的、对不相关变量t的构成都无困难的 \o 函数 函数类型充作函数模型（如 \o 抛物线 抛物线函数或 \o 指数 指数函数）。参数x是为了使所选择的函数模型同观测值y相匹配。（如在测量弹簧形变时，必须将所用的力与弹簧的膨胀系数联系起来）。其目标是合适地选择参数，使函数模型最好的拟合观测值。一般情况下，观测值远多于所选择的参数。 其次的问题是怎样判断不同拟合的质量。 \o 高斯 高斯和 \o 勒让德 勒让德的方法是，假设测量误差的平均值为0。令每一个测量误差对应一个变量并与其它测量误差不相关（随机无关）。人们假设，在测量误差中绝对不含 \o 系统误差 系统误差，它们应该是纯 \o 偶然误差 偶然误差，围绕真值波动。除此之外，测量误差符合 \o 正态分布 正态分布，这保证了偏差值在最后的结果y上忽略不计。 确定拟合的标准应该被重视，并小心选择，较大误差的测量值应被赋予较小的 \o 权 权。并建立如下规则：被选择的参数，应该使算出的函数曲线与观测值之差的平方和最小。用 \o 函数 函数表示为： 用 \o 欧几里得度量 欧几里得度量表达为： 最小化问题的精度，依赖于所选择的函数模型。 最小二乘法的应用 （1）最小二乘法在化学生产中的应用：蔗糖的水解反应的实验 该实验的目的是测定蔗糖转化的反应级数、速率常数。实验中测出一组旋光度和时间，判断反应级数和计算出速率常数。若呈线性关系，为一级反应，若呈线性关系，为二级反应，若呈线性关系，为三级反应。该实验应是一级反应，但由于用目测法手工作图，由于误差的原因，有时会得出一级或二级均可以的奇怪结论，所以在以往的实验中把该反应级数作为已知条件，只要求学生求出速率常数。而用线性最小二乘法拟合曲线，在计算机上处理，即可得出满意的结论。原理是，先用线性最小二乘法对曲线进行高次拟合，从曲线上读取等间隔时间时的，作数据匀整，改进数据的离散性，然后进行直线拟合，拟合偏差最小者为该反应的反应级数。表1为某学生的实验数据，输入计算机后，进行高次拟合，并进行数据修匀，得到表2数据。本次拟合次数为7，拟合偏差为0.026，表示拟合较好。 表1 蔗糖水解反应实验数据 温度：20℃ 气压：101325Pa HCl浓度：3M 时间t/min 7 12 17 27 37 47 62 77 92 旋光度αt 6.37 6.42 6.47 4.71 2.82 1.50 0.00 -1.02 -2.10 表2 蔗糖水解反应实验拟合修匀后的数据 时间t/min 10 20 30 40 50 60 70 旋光度αt 6.5125 5.125 4.1178 2.4181 1.0690 -0.1684 -0.5024 最后将匀整后的数据作直线拟合，一级拟合偏差平方和最小为0.064，证明蔗糖水解反应确为一级反应。 最小二乘法在系统识别中的应用 1、原理分析 系统辨识是通过建立动态系统模型,在模型输入输出数据的基础上,运用辨识方法对模型参数进行辨识，从而得到一个与所观测的系统在实际特性上等价的系统。应用最小二乘法对系统模型参数进行辨识的方法有离线辨识和在线辨识两种。离线辨识是在采集到系统模型所需全部输入输出数据后，用最小二乘法对数据进行集中处理，从而获得模型参数的估计值；而在线辨识是一种在系统运行过程中进行的递推辨识方法，所应用的数据是实时采集的系统输入输出数据，应用递推算法对