第三单元线性回归模型.docVIP

第三单元 线性回归模型 一、回归分析 自然界中许多变量间都存在着某种相互联系和相互制约的关系，这种关系一般有两类，一类是确定性关系，也称之为函数关系。如中变量与的关系就是确定性关系。另一类是不确定性关系，也称之为相关关系或统计关系。这种变量间的关系尚无法表示成精确的函数关系，如人的身高与体重间的关系；商品的销售量与价格间的关系；树高与生长时间的关系等等均属于这类关系。 所谓回归分析是指通过试验和观测，去寻找隐藏在变量间的统计关系的一种数学方法。 设我们要研究变量与之间的统计关系，希望找出的值是如何随的变化而变化的规律，这时称为因变量，为自变量。通常被认为是非随机变量，它是可以精确测量或严格控制的；是一个随机变量，它是可观测的，但存在测量误差。于是与的关系可表示为 .　　　　　　　　　　　　　　　　（１） 其中是一切随机因素影响的总和，有时也简称为随机误差。通常假设满足 　　　　　　　　　　　　　. 由（１）式得到 　　　　　　　　　　　　　，　　　　　　　　　　　　　　　　（２） （２）式称为理论回归方程。由于的函数形式未知，或者的函数形式已知，但其中含有未知参数，故理论回归方程一般无法直接写出。 为了得到理论回归方程的近似表达式，通常先对的函数形式作出假定，然后通过观测得到关于的组独立观测数据。利用这些观测数据来估计出中的未知参数，得到经验回归方程 　　　　　　　　　　　.　　　　　　　　　　　　　　　　　　（３） （３）式又称为回归方程，称为对的回归函数。当是线性函数时，（３）式称为线性回归方程，而获得线性回归方程的方法称为线性回归分析。 若所进行的线性回归分析中自变量是一元的，则称之为一元线性回归分析；若自变量是多元的，则称之为多元线性回归分析。 回归分析在数学建模中的应用非常广泛，其主要作用有： （１）根据所给的数据，在误差尽可能小的条件下，建立因变量与自变量之间的回归方程，并利用此方程对变量进行预测或控制。 （２）判断自变量中，哪些变量对的影响是显著的，哪些变量的影响是不显著的。 （３）估计多项式插值函数的系数。 二、一元线性回归分析 一元线性回归分析是指获得一元线性回归方程的方法。 1．数学模型的建立 设变量与之间存在统计关系，通过观测得到关于的对独立观测数据 .　　　　　　　　　　（４） 在平面直角坐标系中，描出每对观测数据所对应的点，得到的图称为散点图。若散点图呈直线状，则可以假定变量与之间有如下关系 　　　　　　　　　　　.　　　　　　　　　　　　　　　（５） 其中为随机变量，为非随机变量，称为回归系数。为随机变量，称为随机误差，它可以理解为中无法用表示的其它各种随机因素造成的误差。我们的问题是要用来估计的均值，即 　　　　　　　　　　　　　. 且假定，是与无关的待定常数。因此，变量的对独立观测数据应满足 　　　　　　　　　　　　　　　　　　　　　　　　　（６） 其中为待估参数，为个相互独立的且服从同一正态分布的随机变量。（６）式称为一元线性回归的数学模型。 2．参数的最小二乘估计 为了得到回归方程 　　　　　　　　　　　，　　　　　　　　　　　　　　　　（７） 我们需要利用观测数据来估计参数，而估计参数的原则是使 　　　　　　　　　　　　　（误差平方和） 尽可能地小。又因为 　　　　　　　　　　　　　，　　　　（８） 所以和的估计值和应为方程组 　　　　　　　　　　　　　　　　（９） 的解。 记，则方程组（９）化为 　　　　　　　　　　　　　　　　　　　　（10） 方程组（10）称为正规方程组。由于 　　　　　　　　　　　　　， 所以方程组（10）有唯一解，其解为 . （11） 若记则（11）可化为 　　　　　　　　　　，.　　　　　　　　　　　　　　 （12） 所求回归方程为 　　　　　　　　　　　　　.　　　　　　　　　　　　　　　 （13） 这种以误差平方和达最小为原则的参数估计方法称为最小二乘估计。 例１　考察硫酸铜(CuSO4)在100克水中的溶解量与温度间的关系时，作了9组独立试验，结果见表3－1。试寻找隐藏在变量与之间的统计关系。 表3－１ 温度（０Ｃ） 0 10 20 30 40 50 60 70 80 溶解量(g) 14.0 17.5 21.2 26.1 29.2 33.3 40.0 48.0 54.8 解　以变量的9组独立观测数据为点的坐标，在平面直角坐标系中作散点图，见图3－１。由图3－１可见变量与之间大致呈线性关系，因此我们设 . (14） 其中和为待估参数，为随机误差，且设。利用公式（12）对参数和进行估计，计算结果如下 . 　 　　　　. 所求回归方程为 　　　　　　　　.