对比分析最小二乘法与回归分析报告.docVIP

可编辑版 Word完美格式 对比分析最小二乘法与回归分析  摘要 最小二乘法是在模型确定的情况下对未知参数由观测数据来进行估计，而回归分析则是研究变量间相关关系的统计分析方法。 关键词：最小二乘法 回归分析 数据估计  目录 TOC \o 1-3 \h \z \u HYPERLINK \l _Toc464675730 摘要 PAGEREF _Toc464675730 \h 2 HYPERLINK \l _Toc464675731 目录 PAGEREF _Toc464675731 \h 3 HYPERLINK \l _Toc464675732 一：最小二乘法 PAGEREF _Toc464675732 \h 4 HYPERLINK \l _Toc464675733 主要内容 PAGEREF _Toc464675733 \h 4 HYPERLINK \l _Toc464675734 基本原理 PAGEREF _Toc464675734 \h 4 HYPERLINK \l _Toc464675735 二：回归分析法 PAGEREF _Toc464675735 \h 6 HYPERLINK \l _Toc464675736 回归分析的主要内容 PAGEREF _Toc464675736 \h 6 HYPERLINK \l _Toc464675737 回归分析原理 PAGEREF _Toc464675737 \h 7 HYPERLINK \l _Toc464675738 三：分析与总结 PAGEREF _Toc464675738 \h 10  一：最小二乘法 主要内容 最小二乘法又称最小平方法是一种数学优化技术。它通过定义残差平方和的方式，最小化残差的平方和以求寻找数据的最佳函数匹配，可以从一组测定的数据中寻求变量之间的依赖关系, 这种函数关系称为经验公式.利用最小二乘法可以十分简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。 基本原理 考虑超定方程组（超定指未知数大于方程个数）： 其中m代表有m个等式，n代表有n个未知数（mn）；将其进行向量化后为： ?? ， ?? ， ? 显然该方程组一般而言没有解，所以为了选取最合适的 让该等式尽量成立，引入残差平方和函数S （在统计学中，残差平方和函数可以看成n倍的均方误差 当 时， ??取最小值，记作： 通过对 进行微分求最值，可以得到： 如果矩阵 非奇异则 有唯一解：  二：回归分析法 回归分析是确定两种或两种以上变量间相互依赖的相关关系的一种统计分析方法。回归分析是应用极其广泛的数据分析方法之一。它基于观测数据建立变量间适当的依赖关系，建立不同的回归模型，确立不同的未知参数，之后使用最小二乘法等方法来估计模型中的未知参数，以分析数据间的内在联系。当自变量的个数等于一时称为一元回归，大于1时称为多元回归，当因变量个数大于1时称为多重回归，其次按自变量与因变量之间是否呈线性关系分为线性回归与非线性回归。最简单的情形是一个自变量和一个因变量，且它们大体上有线性关系，叫一元线性回归。 回归分析的主要内容 ①从一组数据出发，确定某些变量之间的定量关系式，即建立数学模型并估计其中的未知参数。估计参数的常用方法是最小二乘法。 ②对这些关系式的可信程度进行检验。 ③在许多自变量共同影响着一个因变量的关系中，判断哪个（或哪些）自变量的影响是显著的，哪些自变量的影响是不显著的，将影响显著的自变量加入模型中，而剔除影响不显著的变量，通常用逐步回归、向前回归和向后回归等方法。 ④利用所求的关系式对某一生产过程进行预测或控制。 回归分析原理 eq \o\ac(○,1)在回归分析中自变量是影响因变量的主要因素，是人们能控制或能观察的，而还受到随机因素的干扰，可以合理地假设这种干扰服从零均值的正态分布，于是模型记作 其中未知。现得到个独立观测数据，，由上式得 记 ， ， 表为 eq \o\ac(○,2)参数估计 用最小二乘法估计模型中的参数。 由这组数据的误差平方和为 求使最小，得到的最小二乘估计，记作，可以推出 将代回原模型得到的估计值 而这组数据的拟合值为，拟合误差称为残差，可作为随机误差的估计，而 为残差平方和（或剩余平方和），即。 eq \o\ac(○,3) 统计分析 不加证明地给出以下结果： （ = 1 \* roman i）是的线性无偏最小方差估计。指的是是的线性函数；的期望等于；在的线性无偏估计中，的方差最小。 （ = 2 \* roman i