对比分析最小二乘法与回归分析.docxVIP

- - 对比分析最小二乘法与回归分析 摘要 最小二乘法是在模型确定的情况下对未知参数由观测数据来进 行估计，而回归分析则是研究变量间相关关系的统计分析方法。 关键词： 最小二乘法回归分析数据估计 目录 摘要 2 目录 3 一：最小二乘法 4 主要内容 4 基本原理 4 二：回归分析法 6 回归分析的主要内容 6 回归分析原理 7 三：分析与总结 10 一：最小二乘法 主要内容 最小二乘法又称最小平方法是一种数学优化技术。 它通过定义残差平 方和的方式，最小化残差的平方和以求寻找数据的最佳函数匹配， 可 以从一组测定的数据中寻求变量之间的依赖关系 , 这种函数关系称 为经验公式 .利用最小二乘法可以十分简便地求得未知的数据，并使 得这些求得的数据与实际数据之间误差的平方和为最小。 最小二乘法 还可用于曲线拟合。 其他一些优化问题也可通过最小化能量或最大化 熵用最小二乘法来表达。 基本原理 考虑超定方程组（超定指未知数大于方程个数） ： 其中 m 代表有 m 个等式， n 代表有 n 个未知数 （mn）；将其进 行向量化后为： ， ， 显然该方程组一般而言没有解，所以为了选取最合适的让该等式 尽量成立 ，引入残差平方和函数 S （在统计学中，残差平方和函数可以看成 当时， 取最小值，记作：  n 倍的均方误差 通过对进行微分求最值，可以得到： 如果矩阵非奇异则 有唯一解： 二：回归分析法 回归分析是确定两种或两种以上变量间相互依赖的相关关系的一种 统计分析方法。 回归分析是应用极其广泛的数据分析方法之一。 它基于观测数据建立变量间适当的依赖关系， 建立不同的回归模型， 确立不同的未知参数，之后使用最小二乘法等方法来估计模型中的未知参数，以分析数据间的内在联系。 当自变量的个数等于一时称为一元回归，大于 1 时称为多元回归，当因变量个数大于 1 时称为多重回归，其次按自变量与因变量之间是否呈线性关系分为线性回归与非线性 回归。最简单的情形是一个自变量和一个因变量， 且它们大体上有线性关系，叫一元线性回归。 回归分析的主要内容 ①从一组数据出发，确定某些变量之间的定量关系式，即建立数 学模型并估计其中的未知参数。估计参数的常用方法是最小二乘法。 ②对这些关系式的可信程度进行检验。 ③在许多自变量共同影响着一个因变量的关系中，判断哪个（或 哪些）自变量的影响是显著的，哪些自变量的影响是不显著的，将影 响显著的自变量加入模型中， 而剔除影响不显著的变量， 通常用逐步 回归、向前回归和向后回归等方法。 ④ 利 用所 求 的关 系式 对 某一 生产 过 程进行 预 测 或控制 。 回归分析原理 ○1在回归分析中自变量 x ( x1, x2 , , xm ) 是影响因变量 y 的主要因素，是人们能控制或能观察的，而 y 还受到随机因素的干扰，可以合理地假 设这种干扰服从零均值的正态分布，于是模型记作 y0 1 x1 m xm ~ N (0, 2 ) 其中 未知。现得到 n 个独立观测数据 ( yi , xi1, , xim ) ， i 1, , n, n m ， 由上式得 yi 0 1 xi1 m xim i i ~ N (0, 2 ), i 1, , n 记 1 x11 x1m y1 X ， Y 1 xn1 xnm yn [ 1 n ] T ， [ 0 1 m ]T 表为 X N ( 0, 2 ) 2 参数估计 ○ 用最小二乘法估计模型中的参数 。 由这组数据的误差平方和为 n Q ( ) 2 T (Y X ) i (Y X ) 1 使 Q( ) 最小，得到 的最小二乘估计，记作 ?，可以推出 ( X T X ) 1 X T Y ?代回原模型得到 y 的估计值 ? ? ? ? y 0 1 x1 m xm 而这组数据的拟合值为 ? X ? ? ，拟合误差 e Y Y 称为残差，可作为 Y 随机误差 的估计， 而 n 2 n 2 Q ? ei ( yi yi ) i 1 i 1 为残差平方和（或剩余平方和） ，即 Q( ?) 。 ○3统计分析 不加证明地给出以下结果： （i  ）  ?是 的线性无偏最小方差估计。指的是  ?是 Y  的线性函数；  ? 的期望等于  ；在  的线性无偏估计中，  ?的方差最小。 （ii  ） ?服从正态分布 ? ~  N (  ,  2 ( X T X )  1 ) （iii ）对残差平方和 Q ， EQ ( n m 1) 2 ，且 Q2 ~ 2 (n m 1) 由此得到 2 的无偏估计 s2 n Q ?2 m 1 s2 是剩余方差（残差的方差） ， s 称为剩余标准差。 n （iv ）对 Y 的样本方差 S ( yi