汇报_PLS.pptVIP

一、PLS提出 普通最小二乘法（OLS）当过程变量相关时，采用普通最小二乘法(OLS)求解多元线性回归问题会出现病态解，并且回归模型对样本数据敏感，估计解存在较大的方差，这就是所谓的共线性问题 一、PLS提出 普通最小二乘法(OLS)在一般多元线性回归模型中，当数据总体能够满足高斯-马尔科夫假设条件时，根据最小二乘法有：从公式中容易看出，由于(X’X)必须是可逆矩阵，所以，当X中的变量存在严重的多重相关性时，或者在X中的样本点数与变量个数相比显然过少时，这个最小二乘估计量都会失效，产生一系列应用方面的困难 一、PLS提出 主元回归（PCR）主元回归(PCR)方法采用主成分分析(PCA)的思想提取主元，并建立输出和主元间的回归模型，从而较好解决了共线性问题。但PCA在选取主元时以最大限度地概括原自变量空间的数据变化信息为准则，并没有考虑自变量主元对于因变量变化的解释作用，因此删除的次要主元有可能包含对回归有益的信息，而保留的主元很可能会夹杂进一些对于回归无益的噪声。 二、PLS原理 n个自变量 m个因变量 取num个样本点，构成自变量与因变量的数据表 分别在X和Y中提取两个成分t1和u1 二、PLS原理 第一个成分t1和u1提取后，分别实施X对t1以及Y对u1的回归，如果满足精度，算法结束； 否则，利用残差进行第二轮的成分提取。如此往复，直到达到满意的精度。 最终对X共提取了r个成分t1,t2,…,tr，实行yk对t1,t2,…,tr回归，然后再表达成yk关于原变量x1,x2,…,xn的回归方程，其中k=1,2,…,m。 二、PLS原理 二、PLS原理 令所以 二、PLS原理 二、PLS原理 当数据满足高斯-马尔可夫的假设条件，根据最小二乘法原理，有 部分最小二乘法提出了采用成分提取的方法。 主成分分析中，为了找到最好概括元数据信息的综合变量，在X中提取主成分t1，使得t1中包含的原始数据变异信息的可能达到最大，即： 为了满足因变量与自变量的相关性最大，分别在X和Y中提取的典型成分t1和u1，使下式成立： 二、PLS原理 PLS不是孤立地选取X的主元或Y的主元，而是在选取主元时考虑二者间的关系，即同时选取的自变量主元t1和因变量主元u1满足一下两个要求： (1)t1和u1应尽可能多地提取它们各自空间的变化信息，即方差Var(t1)和Var(u1)尽可能大 (2)t1和u1间的相关程度最大，即t1和u1的相关系数Corr(t1,u1)尽可能大 这两个要求表明，t1和u1应尽可能好地代表数据表X和Y，同时自变量的成分t1对因变量的成分u1又有较强解释能力 三、PLS计算方法 首先将数据做标准化处理X经标准化处理后的数据矩阵记为Y经标准化处理后的数据矩阵记为 三、PLS计算方法 第一步记 是 的第一个成分， ， 是 的第一个权值向量，它是一个单位向量，即记 是 的第一个成分， ， 是 的第一个权值向量，它是一个单位向量，即如果要t1、u1能分别很好地代表X与Y中的数据变异信息，根据主成分分析原理，应该有另一方面，由于回归建模的需要，有要求t1对u1有最大的解释能力 三、PLS计算方法 综上，在偏最小二乘法中，要求t1与u1的协方差达到最大，即正规的数学表达式为因此，将在 和 的约束条件下，求 的最大值。 三、PLS计算方法 采用拉格朗日算法，记对 分别求关于 ， ， 和 的偏导，并令之为零，有由上式可以推出记 ，所以， 是优化问题的目标函数值。 三、PLS计算方法推导 上式可以记作可见， 是矩阵 的特征向量，对应的特征值为 ， 是目标函数值，它取最大值，所以， 是对应的最大特征值的单位特征向量。 同理， 是对应于矩阵 最大特征值 的单位特征向量。 三、PLS计算方法 求得权向量 和 后，即可得到成分然后，分别求 和 对 的回归方程式中 三、PLS计算方法 第二步 用残差矩阵 和 取代 和 ，然后，求第二个权向量 和 以及第二个成分 ， 有计算回归系数 三、PLS计算方法 因此，有回归方程如此计算下去，则会有 把，