助推偏最小二乘法（BPLS）及其应用.pdfVIP

第 29卷第 4期 数学理论与应用 Vo1．29No．4 2009年 12月 M^1l珀EM：AHCAI．-Il丑EIDRYANDAPPu(枷 ONS Dec．20()9 助推偏最小二乘法 (BPLS)及其应用 段宏博 (中南大学数学科学与计算技术学院，长沙，410083) 摘 要 在生物统计以及数据挖掘中，分类预测是最基本的任务之一。本文将探讨一种新的方法～助推偏最 小二乘法(BPLS)。它结合了一系列收缩的偏最小二乘模型，每个模型只有一个主成分。这种新方法和传统的 偏最小二乘方法不同，它不需要选择一系列的偏最小二乘成分。只需要确定两个参数即可。通过对真实数据 的训练，得以证明这种新方法比传统的偏最小二乘法在防止过度拟合方面有更好的表现，同时能够保证精确 度。 关键词 数据挖掘 分类预测 偏最小二乘 BoostingPartialLeastSquaresandIts ApplicationsinDataM ining DuanHongbo (MathCollegeofCentralS0utllUniversity，C}1arlgs}la，410083) Abstract Classificationisolleoftheraostbasictasksduringthebiologicalstatisticsanddaat mining．Tiffsarticlewm ex— ploreanewmethod—PLS—propelled(BPIS)．Itcombinesaseriesofmodels，wbSchispar1alleats—square，nadeachmod· elisonlyoneprincipalcomponent．1hisHewmehtod isdifferentfrom thetraditionalonesinceitneednottochooseaseries ofpartialleastsquarecomponent，anditonlyneedtodeterminetwoparameters．Inthispaper，bytraininf；sevengroupsofreal data，weprovethatthisnew onehasbetterperformanceinguardinga rIstover—fitting，andensures theaccuracyatthe saITletime． Keywords Datamining Classification Partialleastsquares 1 助推偏最小二乘和偏最dx-乘的比较 在传统的偏最小二乘方法中，可能会出现过度拟合 (overfitting)的现象。于是将助推法和 *李俊平 教授推荐 收稿 日期：2009年 7月 15日 助推偏最小二乘法 (BPLS)及其应用 ll9 偏最小二乘相结合来达到消除这种问题的目的。这种方法我们称为 boostingPKS(BPLS)，它结 合一个收缩的PLS模型，每个模型只有一个主成分。与经典的PLS方法不同，BPLS不需要选 择被包括在模型内的PLS的主成分数 目。另一方面，有两个参数必须被确定，一个是收缩值 (shrinkagevalue)，另一个是重复次数(iterationnumber)。 BPLS方法(偏最jj~--乘)基于以下理论： 1．最初用 PLS方法拟合训练数据(只有一个PLS成分被用到)，表示为 夕f，。=xib。+6O。 计算残余： )，懈，f=M= 1 2．令 m：2：M，重复下列步骤： (a)用 PLS拟合正确的残余 Y．一