回归基本原理精讲介绍.docVIP

回归分析基本原理 目录 第1节 回归分析概述 2 第2节 多元回归分析基本原理 2 第3节 回归分析预测在测绘中的基础应用 6 3.1回归分析预测步骤 6 3.2 一元线性回归分析应用 7 3.3 多元线性回归分析应用 7 3.4 基于Matlab的回归分析应用 7 第4节 非线性回归分析 7 4.1 非线性函数形式的确定与线性转换 7 4.2 多面函数拟合法 7 4.3 基于正交函数系的拟合法 8 第1节 回归分析概述 在我们现实生活中，处于同一个过程的变量往往是相互依赖和制约的，这二者的关系可以分为两种形式：一种是确定性的关系（譬如可以用一个直线方程来表示），另一种是不确定的，虽然有关系，但是关系的表现形式却是不确定的，依赖于实际的情形，不能用一个精确的函数表达。 举个例子来说：人的血压与年龄的关系，人的年龄越大血压就会越高，但是相同年龄的人，血压未必相同。也就是说血压与是有关系的，但是二者的关系无法用一个确定的函数表示。血压的取值是可观测的，但是却是不确定的，在回归分析中，这种变量称为不可控变量。在线性方程里自变量与因变量相对应，不可控变量也就是自变量。 由此引入回归分析的概念：研究一个随机变量（不可控变量）与一个或者几个可控变量之间相互关系的统计方法，就是回归分析。只有一个自变量的回归分析，成为一元回归分析；有多个自变量的回归分析，称为多元回归分析。回归分析无非是求不可控变量与可控变量之间的关系因子，无论是一元的还是多元目的都是一样的。与变量具有统计关系，则称为影响因变量或因变量，为自变量或预报变量。所谓多元线性回归模型是指这些自变量对的影响是线性的，即 （1） 其中，是与无关的未知参数，称为对自变量的线性回归函数。为随机误差，一般包括非重要自变量的省略、人为随机行为、数学模型欠妥、归并误差、测量误差。 采用最小二乘法对上式中的待估计回归系数进行估计，求得值后，即可利用多元线性回归模型进行预测了。 1、多元线性回归模型的表示 记组样本观测值为，，代入（1）式，则有 展开，即得 （2） 其中，相互独立，且，，这个模型称为多元线性回归模型。 令 ，，， 则上述函数模型可用矩阵形式表示为 （3） 可归纳总结为高斯-马尔可夫模型。 2、线性回归模型参数的估值计算 线性回归模型中的回归参数可通过变量的样本数据（观测数据）来估计，用最小二乘法可获得回归参数的最优无偏估计值。 记的估计量，故的估计量 参数估计的关键是求得观测值的改正数，而满足方程的有无限组，其中只有一组改正数的平方和为最小，这组最小改正数正是我们需要的，这种以改正数平方和为最小得到参数唯一解的准则，称为最小二乘准则，其表达式为，下面利用最小二乘准则对高斯-马尔可夫模型进行参数估计。 令估计值与原观测量的差值为，则有误差方程 按照最小二乘估计准则，有 为了得到参数估计值，构造函数 求对的偏导数，令其为零，即可满足最小的条件 （4） 根据列矩阵对列矩阵求导的性质，若，则对的导数为 对（4）式求导过程为 令，则 即得 展开，有 等式两边再次转置，得 ，此为法方程 即可求得的最小二乘估计值 的最小二乘估计量为 多元线性回归模型标准差（中误差）的计算公式为 [备注]:自由度=样本个数-样本数据受约束条件的个数，即df=n-k（df自由度，n样本个数，k约束条件个数），n-1是通常的计算方法，更准确的讲应该是n-k，n表示“处理”的数量，k表示实际需要计算的参数的数量。(多余观测数=总观测数-必要观测数) 计算了多元线性回归方程之后，为了将它用于解决实际预测问题，还必须进行数学检验。多元线性回归分析的数学检验，包括回归方程和回归系数的显著性检验。 3、回归模型（即方程）的显著性检验 设原假设为：，备选假设为：，，不全为零。 构建统计量 式中：为回归平方和（regression sum of squares，SSR），其自由度为；为残差平方和（residual sum of squares，SSE），其自由度为。 利用上式计算出值后，再利用分布表进行检验。给定显著性水平，在分布表中查出自由度为和的值，如果≥，则说明与的线性相关密切；反之，则说明两者线性关系不密切。 表1 线性回归模型的方差分析表 方差来源 平方和 自由度 均方和 值 回归 SSR 误差 SSE 总计 SST 备注： 把的个观测值之间的差异，用观测值与其平均值的偏差平方和来表示，称为总离差平方和（total deviation sum of squares，SST）。 4、回归系数的显著性检验 设原假设为：，备选假设为：，。 构建统计量 其中是回