《人工智能》课程论文--偏最小二乘算法（PLS）回归建模.doc

《人工智能》课程论文 论文题目： 偏最小二乘算法（PLS）回归建模 学生姓名： 学 号： 专 业： 机械制造及其自动化 所在学院： 机械工程学院 年 月 日 目录 偏最小二乘回归 1 摘要 1 §1偏最小二乘回归原理 1 §2一种更简洁的计算方法 5 §3案例分析 6 致谢 15 附件： 16  偏最小二乘回归 摘要 在实际问题中，经常遇到需要研究两组多重相关变量间的相互依赖关系，并研究用一组变量（常称为自变量或预测变量）去预测另一组变量（常称为因变量或响应变量），除了最小二乘准则下的经典多元线性回归分析（MLR），提取自变量组主成分的主成分回归分析（PCR）等方法外，还有近年发展起来的偏最小二乘（PLS）回归方法。? 偏最小二乘回归提供一种多对多线性回归建模的方法，特别当两组变量的个数很多，且都存在多重相关性，而观测数据的数量（样本量）又较少时，用偏最小二乘回归建立的模型具有传统的经典回归分析等方法所没有的优点。? 偏最小二乘回归分析在建模过程中集中了主成分分析，典型相关分析和线性回归分析方法的特点，因此在分析结果中，除了可以提供一个更为合理的回归模型外，还可以同时完成一些类似于主成分分析和典型相关分析的研究内容，提供更丰富、深入的一些信息。? 本文介绍偏最小二乘回归分析的建模方法；通过例子从预测角度对所建立的回归模型进行比较。 关键词：主元分析、主元回归、回归建模 1??偏最小二乘回归原理? 考虑p个变量与m个自变量 的建模问题。偏最小二乘回归的基本作法是首先在自变量集中提出第一成分t?（t?是 的线性组合，且尽可能多地提取原自变量集中的变异信息）；同时在因变量集中也提取第一成分u?，并要求t?与u?相关程度达到最大。然后建立因变量与t?的回归，如果回归方程已达到满意的精度，则算法中止。否则继续第二对成分的提取，直到能达到满意的精度为止。若最终对自变量集提取r个成分,偏最小二乘回归将通过建立与的回归式，然后再表示为与原自变量的回归方程式，即偏最小二乘回归方程式。 为了方便起见，不妨假定p个因变量与m个自变量均为标准化变量。因变量组和自变量组的n次标准化观测数据阵分别记为: 偏最小二乘回归分析建模的具体步骤如下： （1）分别提取两变量组的第一对成分，并使之相关性达最大。 （2）假设从两组变量分别提出第一对t?和u?,t?是自变量集,的线性组合：,u?是因变量集的线性组合：。为了回归分析的需要，要求：? t1和u1各自尽可能多地提取所在变量组的变异信息； ② t1和u1的相关程度达到最大。? 由两组变量集的标准化观测数据阵和,可以计算第一对成分的得分向量，记 为和: 第一对成分和的协方差可用第一对成分的得分向量和的内积来计算。故而以上两个要求可化为数学上的条件极值问题： 利用Lagrange乘数法，问题化为求单位向量和,使最大。问题的求解只须通过计算矩阵的特征值和特征向量，且M的最大特征值为,相应的单位特征向量就是所求的解，而可由计算得到。 （3）建立,对的回归及,对的回归。 假定回归模型为： 其中分别是多对一的回归模型中的参数向量，和是残差阵。回归系数向量的最小二乘估计为: 称为模型效应负荷量。 （4）用残差阵和代替和重复以上步骤。 记则残差阵。如果残差阵中元素的绝对值近似为0，则认为用第一个成分建立的回归式精度已满足需要了，可以停止抽取成分。否则用残差阵和代替和重复以上步骤即得：?? 分别为第二对成分的权数。而为第二对成分的得分向量。 分别为X,Y的第二对成分的负荷量。这时有 (5)设n×m数据阵的秩为r=min(n-1,m),则存在r个成分，使得: 把代入，即得p个因变量的偏最小二乘回归方程式： (6) 交叉有效性检验。 一般情况下，偏最小二乘法并不需要选用存在的r个成分来建立回归 式，而像主成分分析一样，只选用前l个成分（l≤r），即可得到预测能力较好的回归模型。对于建模所需提取的主成分个数l，可以通过交叉有效性检验来确定。?? 每次舍去第i个观测，用余下的n-1个观测值按偏最小二乘回归 方法建模，并考虑抽取h个成分后拟合的回归式，然后把舍去的第i个观测点代入所拟合的回归方程式，得到在第i个观测点代入所拟合的预测值。对i=1,2，…n重复以上的验证，即得抽取h个成分时第j个因变量的预测误差平方和为： 的预测误差平方和为： 。 另外，再采用所有的样本点，拟合含h个成分的回归方程。这时，记第i个样本点的预测值为，则可以定义的误差平方和为： 定义Y的误差平方和为： 当达到最小值