一种改进的线性回归模型.pdfVIP

6卷 第 1期 华北科技学院学报 2009年 1月 一 种改进的线性回归模型① 孙彩云 王 昕 (华北科技 院基础部，北京东燕郊 101601) 摘 要：本文 述 了一种改进的线性回归模型——一偏最小二乘回3-模型的基本原理，并结合实例指出当变 量间存在着线性关系时，普通的多元线性回归建模方法会失效；通过对偏最小二乘回归模型和主成分回归模 型的系数估计精度及预测精度两方面的比较，说明要消除变量 问的线性关系，前者优干后者。 关键词：偏最小二乘回归；主成分回归；多无线性回归；回y-5系数；交叉有效性 中图分类号：02l2 文献标识码：A 文章编号：1672—7169(2009)叭一0080—04 在利』 通最小 ：乘法建立多冗线性 同归模 观测数据矩阵，其 中 型(MultipleLinearRegression简记为MIR)时，都 )，： ， ： ( l，…，p) 要似设设讣矩阵 巾的列向量之间不存在线性 Y i 天系，如果变 问存在着线性关系， 归系数的最 1．1 推导过程 小=_乘估计值 的均方误筹会变大，并且与参数 第一步 首先从 巾抽取一个成分 t。，t= 值 呵能相距茯远，使得估计精度下降，估计值的 E。W ， 是一个单位向量，即 fl fl：l；从 中 稳定性变筹 ．实际应川 的经验也已经证实， 抽取一个成分 ，“=Foc，}fcff=1。由于 增减 【1『I归方程巾的变量与样本时，其他变量 同归 (F。∈R)只含有一个因变量，所 以c。是一个常 系数f1f能有较大的变化，甚至改变符号与实际问 数，由lIClI=1，知 c=1，则有U=F。。 题产生矛孵 然而，在实际问题 巾变量问存在线 _- - - 方面，希望 t和 M。能分别很好地代表 性关系的现象却是普遍存在 的，为消除这种现象 和y中的数据变异信息，根据主成分分析原理， 给同归建模带来的不 良影响，科研T作者提出 r 应该有 一 些改进 的同归方法，其lfI，化学家 S．Wold于 Vat(t1) max，Vat(Mj) max (1．1) 1983年捉f¨ 一种偏最小 ■乘 同归(PartialLeast 另一方面，由于回归建模的需要，又要求 t SqtlalTeSRegression简记为PLS)方法，由于该方法 其廊HJ方晰的发展前景引起 越来越多的人员 和U，之间有最大的解释能力，由典型相关分析的 对其的研究币¨关注。本文阐述_r偏最小二乘同归 思路，t和 “。的相关度应达到最大值，即 的基本原理， 根据 Cornell在 1990年收集的一 r(tl，U1)—+max (1．2) 个化一方研的数据，利刚SAS软件计算了相关矩 犬[j此，综合起来，要求 t和U 的协方差达到 阵并建立主成分 石『1归模型 (PrincipleComponents 最大 ，即 Regression，简记为 PCR)及偏最 ／j、二乘 回归模 Coy(t】，M】)=r(t】，u))~／gar(t1)Par(“1)-q~max