最小二乘估计与主成分估计的比较.pdfVIP

第26卷 第2期 吕梁高等专科学校学报 2010年 6月 V0I．26No．2 JournalofLvliangHigherCollege Jun．2010 最小二乘估计与主成分估计的比较 富伯亭 (山西工程职业技术学院 基础部，山西 太原 030009) 摘 要：估计回归参数的最基本最重要的方法是最小二乘估计，但在一些情况下，主成分估计可能是一个更好 的估计方法，本文就这两种方法进行了分析比较． 关键词 ：回归参数估计；最小二乘估计；主成分估计 中图分类号：0247 文献标识码 ：A 文章编号：1008—7834(2010)02～0001—03 1 问题的提出 在预测门诊量、辨识闭环系统、石油闪点检测、原油含水分析仪标定等实际问题中，通常会用到最dx--乘法与主成分分析 法．这两种解决问题的方法与所得到的效果各有侧重．把最小二乘法应用于线性回归模型回归参数的估计时，如果变化个数 较多，就可能出现两方面的缺陷，估计值异常大和回归系数估计值的符号与实际意义相违背，究其原因是 自变量之间的复共 线性关系导致．主成分分析法应用了线性回归模型将有助于纠正最小二乘法的上述缺陷．本文借助线性回归模型的平台，对最 小二乘法与主成分分析法进行统计原理意义上的比较． 在满足Gauss—Markov假设的条件下得到最基本的线性回归模型 Y=Xfl+ tcov(e)= ， 回归参数卢的最小二乘估计 ，是找JB的估计使得偏差向量 e=Y一)(的长度平方 IY—xpI达到最小．记 Q(f1)=IY—x13I = (Y一 8)(1，一 B)， 将此式展开，对 求偏导，并命其为零 ，可以得到方程组 xx8 =X Y 于是得到 =(X ) XY 可以证明 确实是使Q(f1)达到最小 ，最小二乘估计具有以下性质： 性质 1 对于以上线性回归模型最小二乘估计具有下列性质：E()=卢 性质2 (Gauss—Markov)对于如上线性回归模型，在 etB的所有线性无偏估计中，最小二乘估计 etB是唯一具有最小方 差的估计． 获得主成分估计方法如下： (1)做正交变换 Z=胂 ，获得新 自变量 ，称主成分． (2)做回归变量剔除：剔除对应的特征值比较小的那些主成分． (3)将剩余的主成分对 Y做最小二乘估计，再返回原来的参数，便得到因变量对原始 自变量的主成分回归参数 口的主成 分估计为 声=㈡ c () = 以 Z．Y= lAi西 lX Y 收稿 日期 ：200911-25 课 题：山西省教育厅高等职业教育教学研究与实践项 目(晋教高[2007]19号) 作者简介：富伯亭(1965一)，男，山西天镇人，副教授 ，研究方向为数理统计． 主成分估计具有 以下性质 性质 1 主成分估计具有有偏性 性质2 主成分估计是最小二乘估计的一个线性变换． 性质3 主成分估计是最小二乘估计向原点的压缩． 2 最小二乘估计、主成分估计之间的比较 当回归自变量之间相互独立，误差项的方差相等且不相关时最1bZ．乘估计是唯一具有最小方差的无偏估计，它是最优 的．若误差项服从正态分布时可以得到回归参数更多的性质和统计分布，因而最小二乘估计在统计学中占有重要的地位． 在含有较多变量的大型回归问题中，有时回归系数的估计值异常大，有时回归系数的估计值的符号与实际意义相违背， 产生这些问题的原因最常见的是回归自变量之间存在复共线性关系，这时最-b-乘估计的性质变坏需要对其进行改进．从消 除自变量之间的复共线性人手，主成分估计是其中最常见的一种方法．当回归 自变量之间存在复共线性关系时，选择适当的 主成分个数，可使主成分估计比最小二乘估计有较小的