Boosting算法的一致性并分析.pdfVIP

摘要 B00sting算法是近年来最流行的分类算法之一．它能提升任意给定分类 算法的分类精度．该算法的统计性质是近年来的研究热点．本文将重点讨论 Boosting算法的一致性． 第一节，介绍了B00sting算法的发展过程．列举了主要的二分类Boosting 算法，如AdaB00st．M1算法， Lo舀stB00st算法，实值AdaBoost算法和正 则Boosting算法．详细介绍了AdaBoost．Ml算法的统计性质．介绍了多分类 B00sting算法的演变过程并给出了一种多分类Boosting算法． 第二节，讨论了AdaBoost．M1算法满足一致性的充分条件．在样本集可 分的条件下，可以证明以线性分类器为弱分类器的AdaBoost．M1算法具有一 致性．利用几何差异，可以估计AdaBoost．M1算法每次迭代得到的线性弱分 类器的加权经验误差．据此可证明，当AdaBoost．M1算法的迭代次数充分大 时，算法生成的分类器会随着样本容量的增大而收敛到最优分类器． 第三节，讨论了正则Boosting算法满足一致性的充分条件并求出了一种 具体的正则Boosting算法的收敛速度．对于正则Boosting算法，根据比较定 理，得到了其具有一致性的充分条件．进而研究了以凸损失m“(1一。，0)2为 损失函数的正则Boosting算法的收敛速度． 第四节，讨论了多分类Boosting算法满足一致性的充分条件．当多分类 模型满足无限样本一致性时，得到了多分类Bosoting算法满足一致性的充分 条件． 最后一节总结了本文的主要内容并提出了进一步的研究方向． 关键词 Boosting算法；一致性；几何差异；无限样本一致性；Rademacher平均 111 Abstract are BoostingalgorithmsVerypopularpatternrecognitionmethods印一 inrecentten isa which to years pe缸ed Boostinggener出methodattempts boostthe of Thestatisticalbehaviors accuracyany百ven1e盯ningalgorithI工L of arethefocllsinmachine Intllis Boosting以90rithms 1earningcomInunity areinterestediⅡthe ofsuch paper，we consistencyalgorithms． Inthe缸st introduce part，we sever越importantBoosting出gorithms，for AdaB00st锄d exampleAdaB00st．M1，LogistBoost，realregul缸izedB00sting of introduceakind algorithms．Moreover，wemlllti—cate90ryBoosting出go— rithm． the Inthesecond thesu伍cientconditionsof of part，wes七udy