应用回归分析（第四版）何晓群-第8章 主成分回归与偏最小二乘.pptVIP

* * 中国人民大学六西格玛质量管理研究中心 * * 中国人民大学六西格玛质量管理研究中心 * * 中国人民大学六西格玛质量管理研究中心 * * 中国人民大学六西格玛质量管理研究中心 * * 中国人民大学六西格玛质量管理研究中心 * * 中国人民大学六西格玛质量管理研究中心 8 .3 本章小结与评注 一、主成分回归 可以用于n小于p的情形 可以用于多重共线性情形 建模效果有一定改进 * * 中国人民大学六西格玛质量管理研究中心 关于主成分回归的质疑 1、主成分是自变量的线性组合，能保证它与Y有相关性吗？万一主成分与Y 无关呢？ 2、1998年Alis.Hadi和Robert F.Ling 在The American Statistician上发文章(Some Cautionary Notes on the Use of Principal Components Regression)给了个例子，前k-1个主成分与因变量一点关系都没有，而最后一个主成分解释了因变量所有的变异. 3、甚至有人认为没有必要给人们推荐主成分回归了,过时了,“难道所有的老问题都要500年不变传给后人么”?甚至有在美国留学的人说在今天的美帝的统计课上,老爷子们讲到多重共线性问题的时候还在推荐PCR,真是没办法! 现在讲PCR的老师都哪么傻吗？！谁能给出今天十全十美的方法？ 注意我的回答是永远没有！ * * 中国人民大学六西格玛质量管理研究中心 二、PLSR 1975年H.wold在经济学研究中引入了PLS进行路径分析,创建了非线性迭代PLS算法(Nonlinear Iterative Partial Least Squares algorithm),1983年H.wold的儿子S wold和 Albano提出PLSR的概念,用来解决计量化学中n小于p的情况. 可以用于n小于p的情形 可以用于多重共线性情形 建模效果有一定改进 解决了与因变量没关系的问题.(特征根回归把因变量Y也考虑进来了!) 甚至有人总结出PLSR=MLR+CCR+PCR PLSR的基础是LS,在尽可能提取包含自变量更多信息的成分的基础上,保证了提取主成分与因变量最大相关性,即偏爱与因变量有关的部分,所以称为偏最小二乘回归. * * 中国人民大学六西格玛质量管理研究中心 不仅可以做一个因变量与多个自变量的回归建模还可以做多对多的回归建模 * * 中国人民大学六西格玛质量管理研究中心 表8.4 各种回归方法的假设条件 OLS、RR、VSS PCR、PLSR 自变量是独立的 自变量可以是相关的 自变量的值必须是精确的 自变量的值可以有误差 残差必须是随机的 残差可以有一定的结构 有人认为PLSR是回归建模的“神器”，认为“PLSR感觉已经把成分分析和回归发挥到极致了”. Michigan University的Fornell称PLSR为第二代回归分析方法. 任何科学研究大概都是无穷尽的！统计学方法也一定不会例外！当我们肯定和大加赞赏某种东西时也要留有余地！ * * 中国人民大学六西格玛质量管理研究中心 中国人民大学六西格玛质量管理研究中心 第8章主成分回归与偏最小二乘 8 .1主成分回归 8 .2偏最小二乘 8 .3 本章小结与评注 * * 中国人民大学六西格玛质量管理研究中心 8 .1主成分回归 * * 中国人民大学六西格玛质量管理研究中心 * * 中国人民大学六西格玛质量管理研究中心 * * 中国人民大学六西格玛质量管理研究中心 * * 中国人民大学六西格玛质量管理研究中心 * * 中国人民大学六西格玛质量管理研究中心 * * 中国人民大学六西格玛质量管理研究中心 * * 中国人民大学六西格玛质量管理研究中心 * * 中国人民大学六西格玛质量管理研究中心 * * 中国人民大学六西格玛质量管理研究中心 * * 中国人民大学六西格玛质量管理研究中心 * * 中国人民大学六西格玛质量管理研究中心 * * 中国人民大学六西格玛质量管理研究中心 * * 中国人民大学六西格玛质量管理研究中心 * * 中国人民大学六西格玛质量管理研究中心 * * 中国人民大学六西格玛质量管理研究中心 8.2 偏最小二乘法 当 时，最小二乘法就可以求出，从而得到(8.3)式。然而现在的问题是，kn,通常的最小二乘法无法进行。 * * 中国人民大学六西格玛质量管理研究中心 * * 中国人民大学六西格玛质量管理研究中心 * * 中国人民大学六西格玛质量管理研究中心 * * 中国人民大学六西格玛质量管理研究中心 * * 中国人民大学六西