对比分析最小二乘法与回归分析.docxVIP

对比分析最小二乘法与回归分析

摘要

最小二乘法是在模型确定的情况下对未知参数由观测数据来进行估计，而回归分析则是研究变量间相关关系的统计分析方法。

关键词：最小二乘法回归分析数据估计

二：回归分析法

回归分析是确定两种或两种以上变量间相互依赖的相关关系的一种统计分析方法。回归分析是应用极其广泛的数据分析方法之一。它基于观测数据建立变量间适当的依赖关系，建立不同的回归模型，确立不同的未知参数，之后使用最小二乘法等方法来估计模型中的未知参数，以分析数据间的内在联系。当自变量的个数等于一时称为一元回归，大于1时称为多元回归，当因变量个数大于1时称为多重回归，其次按自变量与因变量之间是否呈线性关系分为线性回归与非线性回归。最简单的情形是一个自变量和一个因变量，且它们大体上有线性关系，叫一元线性回归。

回归分析的主要内容

①从一组数据出发，确定某些变量之间的定量关系式，即建立数学模型并估计其中的未知参数。估计参数的常用方法是最小二乘法。

②对这些关系式的可信程度进行检验。

③在许多自变量共同影响着一个因变量的关系中，判断哪个（或哪些）自变量的影响是显著的，哪些自变量的影响是不显著的，将影响显著的自变量加入模型中，而剔除影响不显著的变量，通常用逐步回归、向前回归和向后回归等方法。

④利用所求的关系式对某一生产过程进行预测或控制。

回归分析原理

eq\o\ac(○,1)在回归分析中自变量是影响因变量的主要因素，是人们能控制或能观察的，而还受到随机因素的干扰，可以合理地假设这种干扰服从零均值的正态分布，于是模型记作

其中未知。现得到个独立观测数据，，由上式得

记

，

，

表为

eq\o\ac(○,2)参数估计

用最小二乘法估计模型中的参数。

由这组数据的误差平方和为

求使最小，得到的最小二乘估计，记作，可以推出

将代回原模型得到的估计值

而这组数据的拟合值为，拟合误差称为残差，可作为随机误差的估计，而

为残差平方和（或剩余平方和），即。

eq\o\ac(○,3)统计分析

不加证明地给出以下结果：

（=1\*romani）是的线性无偏最小方差估计。指的是是的线性函数；的期望等于；在的线性无偏估计中，的方差最小。

（=2\*romanii）服从正态分布

（=3\*romaniii）对残差平方和，，且

由此得到的无偏估计

是剩余方差（残差的方差），称为剩余标准差。

（=4\*romaniv）对的样本方差进行分解，有

，

其中残差平方和，反映随机误差对的影响，称为回归平方和，反映自变量对的影响。

eq\o\ac(○,4)回归模型的假设检验

因变量与自变量之间是否存在如模型所示的线性关系是需要检验的，显然，如果所有的都很小，与的线性关系就不明显，所以可令原假设为

当成立时由分解式定义的满足

在显著性水平下有分位数，若，接受；否则，拒绝。

三：分析与总结

最小二乘法是基于既定模型对未知参数的一种估计方法，以函数残差和最小的条件对未知参数进行估计。

回归分析包括：建立带有参数的函数模型（即经验公式），通过最小二乘法、最大似然估计法等方法对模型参数进行估计；讨论有关的点估计、区间估计、假设检验等问题；通过函数模型进行预测等内容。

总而言之，回归分析属于统计推断问题，最小二乘法是一种参数估计方法，在回归分析的模型建立阶段，可选择最小二乘法对参数进行估计。