boost法在统计中的应用.pdfVIP

摘 要 判别分析主要是通过对给定的样本集合用某种分类方式产生一种判别准则的方 法．根据已知的历史信息，对已被分类的研究对象产生判别函数，来判定新的观测样 本应归属的类别． 经过长时间的发展，判别分析方法已经形成了一整套经典的解决方案．我们在假 设样本服从多元正态分布下给出了一些经典的方法，但实际中对数据作这样的假设往 往是达不到的，那么将这样的判别方法用于非正态的情况下，其效果就不理想；而一 些简单的方法虽然不受分布的影响，但其误判率又往往较高，也限制了方法的应用． 近几十年间，由于计算机的飞速发展，机器学习在统计、数据挖掘、人工智能和 工程等领域发挥熏大作用．一些机器学习方法被用于对已知类别的样本产生判别准 则，判别新的样本的所属类别，像决策树和神经网络等，这与统计中的判别分析方法 有异曲同工之效．近十年间，机器学习领域中出现了一种可以通过多次学习而提高 学习算法精度的方法，它采用综合选优的原则而使算法的效率明显改善，此方法被 称为Boosting方法．这种方法可以有效地将效率较低的所谓“弱学习算法”转化成 效率较高的“强学习算法”，但由于它需要预先知道一些参数，而这些参数在实际中 又无法获得，因而其实用性受到很大的限制．随后出现了对Boosting改进的方法一 参数，因此它的出现不仅在理论上完善了Boosting方法的原理，而且在实践中得到 广泛的应用．我们用它来改进统计中的字蜗4分析，使那些简单的方法和基于正态假设 给出的方法在非正态的条件下均能继续保持或提高其精确度． 因此，本文将AdaBoost方法应用到判别分析的部分方法中，利用它能提高算法 精度的优势，使某些简单粗略的判别方法可以得到广泛的应用，克服其判别精度不高 的缺点得到比较准确的结果；使某些在正态假设条件下得到的判别方法在总体并非 正态的条件下依然能够保持或提高判别精度．从而使得这些方法原来的小范围应用 变成广泛地应用于对各类数据的判别分析中． 在第一章中，我们将介绍判别分析的几种基本方法，主要是我们将应用AdaBoost 方法进行改进的几种方法．第二章中，我们将详细介绍Boosting方法的来源和发 展，AdaBoost方法的具体思想、步骤及其一些参数的确定．在第三章中，我们利用 AdaBoost方法改进判别分析的某些方法并模拟检验方法的有效性．第四章中我们给 出一些实例分析，验证方法的有效性．最后，总结AdaBoost方法在判别分析中的用 途及效果，讨论AdaBoost方法在其它领域的应用，例如。数据压缩。回归问题。寻 找异常点，等等．另一方面。从Bayes观点的角度阐述AdaBoost方法的基本思想． 判别分析 弱学习算法 误判率 关键词：AdaBoost方法Boosting方法 Abstract an Discriminantis effectivemethodof adiscriminantrule Analysis producing based Oilthe observationsclassffiedcertain given by classification to historic adiscriminant information，it functionaboutclassified generates training anddetermineswhich classanew to． objects sample belongs Withthe