《统计学》线性回归模型.ppt

§1 　导　言 在自然界和人类社会中，经常会遇到一些变量共处于一个统一体中，他们相互联系，相互制约，在一定条件下相互转化。社会经济现象尤其如此。例如某生产厂家的生产费用由所生产的产品数量和各种生产投入要素的价格等因素所决定。 在社会经济现象中，变量之间的关系大致可以分为两种： 1).函数关系 2).统计关系。 函数关系：变量之间依一定的函数形式形成的一一对应关系称为函数关系。若两个变量分别记作y和x，则当y 与x之间存在函数关系时，x值一旦被指定，y值就是唯一确定的。函数关系可以用公式确切的反映出来，一般记为y=f(x)。 例如，某种商品的销售额(y)与销售量(x)之间的关系，在销售价格(p)一定的条件下，只要给定一个商品销售量，就有一个唯一确定的商品销售额与之对应，用公式表示为y=p(x)。 统计关系：两个变量之间存在某种依存关系，但变量Y并不是由变量X唯一确定的，它们之间没有严格的一一对应关系。两个变量之间的这种关系就是统计关系，也称为相关关系。 相关关系与函数关系有十分密切的联系。在实际中，由于观察和测量误差等原因，函数关系往往是通过相关关系表现的，而在研究相关关系时，又常用函数关系作为工具，以相应的函数关系数学表达式表现相关关系的一般数量关系。 例如：同样收入的家庭，用于食品的消费支出往往并不相同。因为对家庭食品费用的影响，不仅有家庭收入的多少，还有家庭人口，生活习惯等因素，所以，家庭食品费用支出与家庭收入之间不是函数关系，而是相关关系。 在含有变量的系统中，考察一些变量对另一些变量的影响，它们之间可能存在一种简单的函数关系，也可能存在一种非常复杂的函数关系。有些变量之间的关系是非确定性的关系，这种关系无法用一个精确的数学来表示。 我们需要区分两种主要类型的变量。一种变量相当于通常函数关系中的自变量，它或者能控制或者虽不能控制但可观测，这种变量称为自变量。自变量的变化能波及另一些变量，这样的变量称为因变量。人们通常感兴趣的问题是自变量的变化对因变量的取值有什么样的影响。 回归分析正是研究自变量的变动对因变量的变动的影响程度，其目的在于根据已知自变量的变化来估计或预测因变量的变化情况。 回归的内容包括如何确定因变量与自变量之间的回归模型；如何根据样本观测数据估计并检验回归模型及未知参数；在众多的自变量中，判断哪些变量对因变量的影响是显著的，哪些变量的影响是不显著的；根据自变量的已知值或给定值来估计和预测因变量的平均值等等。 线性回归分析是研究变量与变量之间的线性相关关系。从分析的内容上看，线性回归是建立变量间的拟合线性相关模型，主要用于估计和预测。线性回归模型应用领域极为广泛，在许多领域里都有应用非常成功的例子，它是现代应用统计分析方法中的重要内容之一。 §２　 一元线性回归模型 8.2.1 一元线性回归模型的数学表示式 如果两个变量之间存在相关关系，并且一个变量的变化会引起另一个变量按某一线性关系变化，则两个变量间的关系可以用一元线性回归模型描述。 其数学模型为： y= …(8-1) 其中，y 为因变量， x为自变量， 为模型参数， 为回归截距， 为回归系数 ， 为随机误差项，且～N(0, ). 在实际问题中，(8-1)中的模型参数 是未知的，通常只能在自变量的一些点上对因变量进行观测，得到一定量的数据，由数据出发对模型进行推断。 8.2.2 回归系数 的最小二乘估计。 假定（ ）, （ ）, …,（ ）为n次独立试验所得到的样本观测值，则有 ， i=1,2,…,n …(8-2) 其中i ,i=1,2,…,n为随机误差项，对i ,i=1,2,…,n的基本假定是i ,i=1,2,…,n相互独立，服从N(0, )分布。 记 Q( )= Q( )是直线y= 对于所有数据点的偏差平方和。 取直线y= 使得 Q( )达到最小 即 Q( )=Q( )，z用y=来估计回归直线，这种方法称为最小二乘法。 为求与 分别对应的最小二乘估计 ，注意到Q( )是 的非负二次函数，因此最小值点存在且唯一，应满足以下方程组： 求解方程组得： 其中 ， 8.2.3利用最小二乘法所得到的估计量