第9章回归分析方法..docVIP

第九章 回归分析方法 回归分析方法是统计分析的重要组成部分，用回归分析方法来研究建模问题是一种常用的有效方法。什么是回归分析呢？大家知道：数学分析（或高等数学）是研究连续变量之间的关系，泛函分析是研究函数集之间的关系，而回归分析是研究随机变量之间的关系。回归分析方法一般与实际联系比较密切，因为随机变量的取值是随机的，大多数是通过试验得到的，这种模型的准确度（可信度）如何，需通过进一步的统计试验来判断模型中的随机变量（回归变量）的显著性，经过反复地修改模型，直到得到最佳的结果，最后应用于实际中去。 回归分析的主要内容是： （1）从一组数据出发，确定这些变量间的定量关系（回归模型）； （2）对模型的可信度进行统计检验； （3）从有关的许多变量中，判断变量的显著性（即哪些是显著的，哪些是不显著的，显著的保留， 不显著的忽略）； （4）应用结果是对实际问题做出的判断。 回归分析的第一步，是要建立模型，即函数关系，其自变量称为回归变量，因变量称为应变量或响应变量。如果模型中只含有一个回归变量，称为一元回归模型，否则称为多元回归模型（实际中所见的大都是线性回归模型，非线性的一般可以化为线性的来处理，例如：用Taylor展开法作局部线性化），为了大家容易理解，首先讨论一元的情况。 9.1 一元线性回归方法 9.1.1 一元线性回归模型 （1）一般形式： 一元回归模型的一般形式记为 并设观测值为，则 　　　　 （9.1） 其中 是未知的待定常数，称为回归系数；是回归变量，可以是随机变量，也可以是一般变量；是随机因素对响应变量所产生的影响—-随机误差，也是随机变量。为了便于作估计和假设检验，总是假设，亦即,则随机变量～。 (2)　对模型的分析 假设有一组试验数据，并假设是相互独立的随机变量，则有 其中是相互独立的，且，（）。 若用分别表示的估计值，则称为关于的一元线性回归方程。 要研究的问题是： （1）如何根据来求的估计值？ （2）如何检验回归方程的可信度呢？ 要解决的第一个问题，通常采用最小二乘估计，第二个问题采用统计检验的方法。 9.1.2 参数的最小二乘估计 （1）最小二乘法 用最小二乘法估计的值，即取的一组估计值使其随机误差的平方和达到最小，即使与的拟合最佳。若记 则 显然，且关于可微，则由多元函数存在极值的必要条件得 　　 ， 即 此方程称为正规方程组，求解可以得到： 称为的最小二乘估计，其中 ，，， 。 (2)的性质 ① ; ② ; ③ . 事实上：,;,。 由此可知是的无偏估计。从而可以得到：对固定的有 即是的无偏估计，且有 故，即是的无偏估计。 9.1.3 回归方程的显著性检验 前面是根据回归方程求出了估计值，从而有。现在的问题是： 与之间是否确实存在这种关系？即回归方程是否一定有意义？即当变化时，是否为一常数？也就是说是否为0？这就需要对回归方程作显著性检验。 实际上，只要检验是否为真，这就需要建立一个检验的统计量。 先考虑总偏差的平方和，即表示之间的差异，将其分解为两个部分： 事实上，由正规方程组知： 即回归平方和为，残差平方和（或剩余平方和）为。 实际上，是由回归变量的变化所引起的误差，它的大小反映了的重要程度，而是由随机误差和其他未加控制的因素所引起的误差。因此，我们现在主要考虑回归平方和在总的平方和中所占的比重，记，称为复相关系数，用的大小来评价模型的有效性。越大，则反映了回归变量与响应变量之间的函数关系越密切，一般0≤≤1,但要多大才认为函数关系的存在呢？这就需要给出一个临界值，为此引进F统计量。 由于每一个平方和都有一个自由度（free）（即相互独立，且服从的随机变量的个数）,用表示。则总偏差平方和的自由度为；回归平方和的自由度为；残差平方和的自由度为， 于是的均方为(平方和除以自由度)。 由的性质可以证明：当时, ,即说明当时是误差方差的无偏差估计。在我们的假设下（为独立，同服从标准正态分布）