Boost方法在统计中的应用.pdfVIP

摘 要 判别分析主要是通过对给定的样本集合用某种分类方式产生一种判别准则的方 法.根据已知的历史信息，对已被分类的研究对象产生判别函数，来判定新的观测样 本应归属的类别. 经过长时间的发展，判别分析方法已经形成了一整套经典的解决方案.我们在假 设样本服从多元正态分布下给出了一些经典的方法，但实际中对数据作这样的假设往 往是达不到的，那么将这样的判别方法用于非正态的情况下，其效果就不理想;而一 些简单的方法虽然不受分布的影响，但其误判率又往往较高，也限制了方法的应用. 近几十年间，由于计算机的飞速发展，机器学习在统计、数据挖掘、人工智能和 工程等领域发挥重大作用.一些机器学习方法被用于对已知类别的样本产生判别准 则，判别新的样本的所属类别，像决策树和神经网络等，这与统计中的判别分析方法 有异曲同工之效.近十年间，机器学习领域中出现了一种可以通过多次学习而提高 学习算法精度的方法，它采用综合选优的原则而使算法的效率明显改善，此方法被 称为Boosting方法.这种方法可以有效地将效率较低的所谓 弱“学习算法，转化成 效率较高的 强“学习算法”，但由于它需要预先知道一些参数，而这些参数在实际中 又无法获得，因而其实用性受到很大的限制.