偏最小二乘材料.pptVIP

* 应用多元统计分析 第十一章 偏最小二乘回归 第十一章 偏最小二乘回归 目 录 §11.1 偏最小二乘回归分析方法 §11.2 应用例子 在实际问题中,经常迂到需要研究两组多重相关变量间的相互依赖关系,并研究用一组变量(常称为自变量或预测变量)去预测另一组变量(常称为因变量或响应变量),除了最小二乘准则下的经典多元线性回归分析(MLR),提取自变量组主成分的主成分回归分析(PCR)等方法外,还有近年发展起来的偏最小二乘(PLS)回归方法. 第十一章 什么是偏最小二乘回归 偏最小二乘回归提供一种多对多线性回归建模的方法,特别当两组变量的个数很多,且都存在多重相关性,而观测数据的数量(样本量)又较少时,用偏最小二乘回归建立的模型具有传统的经典回归分析等方法所没有的优点。 偏最小二乘回归分析在建模过程中集中了主成分分析,典型相关分析和线性回归分析方法的特点,因此在分析结果中,除了可以提供一个更为合理的回归模型外,还可以同时完成一些类似于主成分分析和典型相关分析的研究内容,提供更丰富、深入的一些信息。 第十一章 什么是偏最小二乘回归 本章结合SAS/STAT软件中用于完成偏最小二乘回归的PLS过程,介绍偏最小二乘回归分析的建模方法； 并通过例子从预测角度对所建立的回归模型进行比较。 第十一章 什么是偏最小二乘回归 考虑p个因变量Y1,…,Yp与m个自变量X1,…,Xm的建模问题。 偏最小二乘回归的基本作法是首先在自变量集中提取第一成分T1(T1是X1,…,Xm的线性组合,且尽可能多地提取原自变量集中的变异信息); 同时在因变量集中也提取第一成分U1,并要求T1与U1相关程度达最大。然后建立因变量Y1,…,Yp与T1的回归，如果回归方程已达到满意的精度，则算法终止。 §11.1 偏最小二乘回归分析 §11.1 什么是偏最小二乘回归 否则继续第二对成分的提取,直到能达到满意的精度为止。 若最终对自变量集提取r个成分T1,T2,…,Tr,偏最小二乘回归将通过建立Y1,…,Yp与T1,T2,…,Tr的回归式,然后再表示为Y1,…,Yp与原自变量的回归方程式,即偏最小二乘回归方程式. 假定p个因变量Y1,…,Yp与m个自变量X1,…,Xm 均为标准化变量。因变量组和自变量组的n次标准化观测数据阵分别记为： §11.1 偏最小二乘回归分析 Y0 = y11 … y1p … … … yn1 … ynp X0 = x11 … x1m … … … xn1 … xnm n?p n?m 偏最小二乘回归分析建模的具体步骤如下： (1)分别提取两变量组的第一对成分,并使之相关性达最大。 假设从两组变量分别提取第一对成分为T1和U1,T1是自变量集X=(X1,…,Xm )′的线性组合: T1=w11X1+…+w1mXm=w1′X ， U1是因变量集Y=(Y1,…,Yp)′的线性组合: U1=v11Y1+…+v1pYp=v1′Y . §11.1 偏最小二乘回归分析 为了回归分析的需要,要求： ① T1和U1各自尽可能多地提取所在变量组的变异信息； ② T1和U1的相关程度达到最大。 由两组变量集的标准化观测数据阵X0和Y0，可以计算第一对成分的得分向量,记为t1和u1： t1= X0 w1 = §11.1 偏最小二乘回归分析 u1= Y0 v1 = §11.1 偏最小二乘回归分析 第一对成分T1和U1的协方差Cov(T1,U1)可用第一对成分的得分向量t1和u1的内积来计算。故而以上两个要求可化为数学上的条件极值问题： 对中心化的数据，有： t1,u1 = w1?X0 ?Y0v1→最大, 约束条件:‖w1‖2=1, ‖v1‖2=1, §11.1 偏最小二乘回归分析 同时最大化方差Var(T1)、Var(U1)和ρ(T1,U1): §11.1 偏最小二乘回归分析 令 §11.1 偏最小二乘回归分析 由(1)和(4)可以得到： 定义 ，由(3)和(4)得到 还可得到 §11.1 偏最小二乘回归分析 由 以及 可知w1是 的最大特征值 对应的特征向量。 v1是 的最大特征值 对应的特征向量。 §11.1 偏最小二乘回归分析 问题的求解只须通过计算m×m矩阵 M= X0 ?Y0Y0 ?X0 的特征值和特征向量,且M的最大特征值为θ12,相应的单位特征向量就是所求的解w1，而v1可由w1计算得到: (见p14)