52多元线性回归模型的参数估计要点.pptVIP

二、多元线性回归模型 解释变量 xi 是确定性变量，不是随机变量；解释变量之间互不相关，即无多重共线性。 随机误差项具有0均值和同方差 2.多元模型的解析表达式 3.多元模型的矩阵表达式 三.多元线性回归模型的参数估计(OLS) 参数值估计 参数估计量的性质 偏回归系数的含义 正规方程 样本容量问题 1.参数值估计(最小二乘估计----OLS) 注解：k与k+1 凡是按解释变量的个数为k的，那么共有k+1个参数要估计。而按参数个数为k的，则实际有k-1个解释变量。总之两者相差1而已！要小心所用的k是什么意思！ 所以如果本来是用解释变量个数的k表示的要转换成参数个数的k则用k-1代换原来的k就可以了！ 6.偏回归系数的意义 偏回归系数的含义是，在其他解释变量保持不变的条件下，该变量变化一个单位，被解释变量将平均发生偏回归系数大小的变动 7.正规方程 由最小二乘法得到的用以估计回归系数的线性方程组，称为正规方程 正规方程的结构 8. 最小二乘估计 （OLS）下回归线的性质 9.多元回归模型参数估计中的样本容量问题 样本是一个重要的实际问题，模型依赖于实际样本。 获取样本需要成本，企图通过样本容量的确定减轻收集数据的困难。 最小样本容量：满足基本要求的样本容量 最小样本容量 n ≥ k+1 满足基本要求的样本容量 一般经验认为： n ≥ 30或者n ≥ 3(k+1)才能满足模型估计的基本要求。 n ≥ 3(k+1)时，t分布才稳定，检验才较为有效 一、回归分析与相关分析 二、多元线性回归模型 第二节 多元线性回归模型的参数估计 相关分析：提供了现象之间相关关系的方向和相关的密切程度方面的信息，但不提供现象之间如何关联方面的信息 回归分析：提供现象之间如何关联的信息 原则上：回归分析是在相关分析的基础上进行的 一、回归分析与相关分析 19世纪末，英国著名统计学家Francis Galton研究孩子及他们父母的身高时发现，身材高的父母，他们的孩子也高，但这些孩子平均起来并不像他们的父母那样高；对于比较矮的父母，他们的孩子比较矮，但这些孩子的平均身高要比他们的父母的平均身高高。Galton把这种孩子的身高向中间值靠近的趋势称之为一种回归效应。回归这个术语便开始传播开来。 现在的回归分析已经没有原来的含义，但这种说法一直沿袭下来，重在表明这是研究数值变量之间关系的方法。 回归的来历： “因变量”或“被解释变量”（dependent variable） “解释变量”或“自变量”（independent variables） 随机变量 回归的方法：建立回归模型 用一个恰当的代数式来表达变量 与随机变量 的依存关系： 一个自变量 两个及两个以上自变量 回归模型 多元回归 一元回归 线性回归 非线性回归 线性回归 非线性回归 回归模型的类型： 1.模型的假设 特殊的：随机误差项服从0均值、同方差的正态分布 行坐标——表示第几次观察 列坐标——表示第几个自变量 解释变量 xi 是确定性变量，不是随机变量；解释变量之间互不相关，即无多重共线性。 线性回归模型”中的“线性”一词在这里有两重含义： 一是被解释变量y与解释变量x之间为线性关系，即解释 变量x仅以一次方的形式出现在模型之中。用数学语言 表示为： 二是被解释变量y与参数 之间为线性关系，即参数 仅以一次方的形式出现在模型之中。用数学语言表示为： 1.剩余平方和： 2.最小二乘估计原理： 剩余平方和达到最小值 3.得到下列方程组 求参数估计值的实质是求一个k+1元方程组 4.剩余平方和表示成矩阵形式 7.最小二乘估计量的性质 （1）线性（估计量都是被解释变量观测值的线性组合） （2）无偏性（估计量的数学期望=被估计的真值） （3）有效性（估计量的方差是所有线性无偏估计中最小的） 这一性质表明系数向量的各个分量间一般也是相关的． 这一性质表明残差向量的各个分量间一般也是相关的． 多元回归模型中的回归系数称为偏回归系数 Y ——被解释变量观测值 n x 1 X ——解释变量观测值（含虚拟变量n x (k+1) ） X`X ——设计矩阵（实对称(k+1) x (k+1)矩阵 ） X`Y ——正规方程右端 （k+1) x 1