10.主成分回归偏最小二乘回归.pptx

偏最小二乘方法;偏最小二乘方法的基本思想;若回归方程用矩阵标表示为：;对于2~p 个因变量的图形表示为：;多元线性回归方法是采用整个X矩阵来建立数学模型，而并不顾及在X中的信息与真实模型相关与否。很显然，若所得结果偏离了其实际数学模型，则对于未知样本的预测也是错误的。 ; 主成分回归; 设矩阵X的阶为I*J，若T的阶与J相等，则主成分回归与多元线性回归所得结果相同，并不能显示出主成分回归的优越之处。选取的主成分数一般应该比J 小，而删去那些不重要的主成分，因为这些主成分所包含的信息主要是噪声，由此所得的回归方程稳定性较好。; 综合上述，X可由它的得分矩阵T来描述（由于删去了含带信息较少的维，所以T的维数小于X的维数）： ; 主成分分析可以解决共线问题，同时由于去掉了不太重要的主成分，因而可以削弱随机误差所产生的影响。但是，???于主成分回归为二步法，若在第一步中消去的是有用的主成分，而保留的是噪声，则在第二步多元线性回归所得结果就将偏离真实的数学模型。; 偏最小二乘回归方法;11;12; 在第一个成分t1和u1被提取后,偏最小二乘回归分别实施X对t1的回归以及Y对t1的回归。如果回归方程已经达到满意的精度,则算法终止;否则,将利用 X被t1解释后的残余信息以及Y被t1解释后的残余信息进行第二轮的成分提取。如此往复,直到能达