偏最小二乘回归剖析分解.pptVIP

数学建模算法与应用  数学建模算法与应用 第11章偏最小二乘回归分析 基础部数学教研室  在实际问题中,经常遇到需要研究两组多重相关 变量间的相互依赖关系,并研究用一组变量(常称为 自变量或预测变量)去预测另一组变量(常称为因变 量或响应变量),除了最小二乘准则下的经典多元线 性回归分析(MLR),提取自变量组主成分的主成分 回归分析(PCR)等方法外,还有近年发展起来的偏最 小二乘(PLS)回归方法。 3/49 基础部数学教研室  偏最小二乘回归提供一种多对多线性回归建模的 方法,特別当两组变量的个数很多,且都存在多重相 关性,而观测数据的数量(样本量)又较少时,用偏 最小二乘回归建立的模型具有传统的经典回归分析 等方法所没有的优点 偏最小二乘回归分析在建模过程中集中了主成 分分析,典型相关分析和线性回归分析方法的特点, 因此在分析结果中,除了可以提供一个更为合理的回 归模型外,还可以同时完成一些类似于主成分分析和 典型相关分析的研究内容,提供一些更丰富、深入的 信息 4/49 基础部数学教研室  本章介绍偏最小二乘回归分析的建模方法;通过 例子从预测角度对所建立的回归模型进行比较 5/49 基础部数学教研室  11.1偏最小二乘回归分析 考虑P个因变量y1,y2…,yn与m个自变量 x,x2,…,xm的建模问题。偏最小二乘回归的基本作法 是首先在自变量集中提出第一成分l1(u1是x1,;…,xn 的线性组合,且尽可能多地提取原自变量集中的变异 信息);同时在因变量集中也提取第一成分v1,并要 求n1与v相关程度达到最大然后建立因变量y;…,y2 与u1的回归,如果回归方程已达到满意的精度,则算 法中止。 6/49 基础部数学教研室  否则继续第二对成分的提取,直到能达到满意的 精度为止。若最终对自变量集提取r个成分 u1,u2,…,u1,偏最小二乘回归将通过建立y1…,yn与 u1,u2…,ur的回归式,然后再表示为y,…,yn与原自变 量的回归方程式,即偏最小二乘回归方程式。 7149 基础部数学教研室  为了方便起见,不妨假定P个因变量y,…,yn,与m 个自变量x1;…,xn均为标准化变量。自变量组和因变 量组的n次标准化观测数据矩阵分别记为 A B a nn 偏最小二乘回归分析建模的具体步骤如下 8/49 基础部数学教研室  (1)分别提取两变量组的第一对成分,并使之相 ≠性达最大。 假设从两组变量分别提出第一对成分为u1和v1,l1 是自变量集X=[x1…,xn的线性组合 1=a1x1+…+a1mCm=pX v1是因变量集y=[y1…,y的线性组合 v1=B1y1+…+B1 为了回归分析的需要,要求 )1和v1各自尽可能多地提取所在变量组的变异信 息 i)u1和v1的相关程度达到最大 9/49 基础部数学教研室  由两组变量集的标准化观测数据矩阵A和B,可以 计算第一对成分的得分向量,记为1和1 A P (111 B1 (112) 1049 基础部数学教研室