典型相关分析和最小二乘回归.ppt

典型相关分析与偏最小二乘回归 2014.5.9 一、典型相关分析 典型相关分析（canonical correlation analysis）就是利用综合变量对之间的相关关系来反映两组指标之间的整体相关性的多元统计分析方法。 基本原理是：为了从总体上把握两组指标之间的相关关系，分别在两组变量中提取有代表性的两个综合变量U1和V1（分别为两个变量组中各变量的线性组合），利用这两个综合变量之间的相关关系来反映两组指标之间的整体相关性。 典型相关分析的基本概念 典型相关分析的命令 在syntax（语法）窗口中输入： 方式1：manova 变量a1 变量a2……变量an with 变量b1 变量b2……变量bn 方式2：include FILE =‘spss所在路径/anonical correlation.sps. cancorr SET1=第一组变量的列表 /SET2第二组变量的列表. (注，变量间用空格，用/，用“.”不是“。”) 二、偏最小二乘法 1、偏最小二乘法回归是一种新型的多元统计数据分析方法，可以根据需要任意设置变量，是一种标准的多元建模工具，非常适用于预测分析。 2、偏最小二乘回归≈多元线性回归分析+典型相关分析+主成分分析 3、与传统多元线性回归模型相比，偏最小二乘回归的特点是： （1）是一种多因变量对多自变量的回归建模方法。 （2）能够在自变量存在严重多重相关性的条件下进行回归建模； （3）允许在样本点个数少于变量个数的条件下进行回归建模； （4）偏最小二乘回归在最终模型中将包含原有的所有自变量； （5）偏最小二乘回归模型更易于辨识系统信息与噪声（甚至一些非随机性的噪声）； （6）在偏最小二乘回归模型中，每一个自变量的回归系数将更容易解释。 4、建模方法 设有q个因变量和p个自变量。为了研究因变量与自变量的统计关系，观测了n个样本点， 由此构成了自变量与因变量的数据表X和Y。偏最小二乘回归分别在X与Y中提取出t和u，要求：（1）t和u应尽可能大地携带它们各自数据表中的变异信息； （2）t和u的相关程度能够达到最大。在第一个成分被提取后，偏最小二乘回归分别实施X对t的回归以及Y对t的回归。如果回归方程已经达到满意的精度，则算法终止；否则，将利用X被t解释后的残余信息以及Y被t解释后的残余信息进行第二轮的成分提取。如此往复，直到能达到一个较满意的精度为止。若最终对X共提取了多个成分，偏最小二乘回归将通过施行yk对X的这些成分的回归，然后再表达成yk关于原自变量的回归方程。