《Adaboost.docVIP

2 Adaboost算法 2.1基本介绍 Boosting是一种提高任意给定学习算法准确度的方法思想Valiant提出的 PAC ( Probably Approxi mately Correct)学习模型。Valiant和Kearns提出了弱学习和强学习的概念识别错误率小于也即准确率仅比随机猜测略高的学习算法称为弱学习算法识别准确率很高并能在多项式时间内完成的学习算法称为强学习算法。同时Valiant和 Kearns首次提出了 PAC学习模型中弱学习算法和强学习算法的等价性问题,即任意给定仅比随机猜测略好的弱学习算法是否可以将其提升为强学习算法如果二者等价那么只需找到一个比随机猜测略好的弱学习算法就可以将其提升为强学习算法而不必寻找很难获得的强学习算法1990年, Schapire最先构造出一种多项式级算法对该问题做了肯定的证明这就是最初Boosting算法。一年后Freund提出了一种效率更高Boosting算法。但是,这两种算法存在共同的实践上的缺陷 ,那就是都要求事先知道弱学习算法学习正确的下限。1995年Freund和chapire改进了Boosting算法提出了 AdaBoost (Adap tive Boosting)算法该算法效率和 Freund于 1991年提出的 Boosting算法几乎相同但不需要任何关于弱学习器的先验知识因而更容易应用到实际问题当中。之后Freund和chapire进一步提出了改变 Boosting投票权重的 AdaBoost . M1AdaBoost . M2等算法在机器学习领域受到了极大的关注。 Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的弱分类器(识别率大于的基分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。使用Adaboost分类器可以排除一些不必要的训练数据特征，并将关键放在关键的训练数据上面。在产生单个的基分类器时可用相同的分类算法,也可用不同的分类算法,这些算法一般是不稳定的弱分类算法,如神经网络(BP) ,决策树(C4.5)等。 主要解决的问题 　　目前，对daboost算法的研究以及应用大多集中于，近年也出现了一些在回归问题上的应用。就其应用daboost算法主要解决了: 两类问题、多类单标签问题、多类多标签问题、大类单标签问题回归问题。它用全部的训练样本进行学习。 过程分析 　　该算法其实是一个简单的弱分类算法提升过程，这个过程通过不断的训练，可以提高对数据的分类能力。整个过程如下所示： 　　1) 先通过对个训练样本的学习得到第一个弱分类器； 　　2) 将分错的样本和其他的新数据一起构成一个新的个的训练样本，通过对这个样本的学习得到第二个弱分类器 ； 　　3) 将1和2都分错了的样本加上其他的新样本构成另一个新的个的训练样本，通过对这个样本的学习得到第三个弱分类器； 　　4) 最终经过提升的强分类器 。即某个数据被分为哪一类要通过的多数表决。 对于oosting算法，存在两个问题： 　　1) 如何调整训练集，使得在训练集上训练的弱分类器得以进行； 　　2) 如何将训练得到的各个弱分类器联合起来形成强分类器。 　　针对以上两个问题，daboost算法进行了调整： 　　1) 使用加权后选取的训练数据代替随机选取的训练样本，这样将训练的焦点集中在比较难分的训练数据样本上 　　 将弱分类器联合起来，使用加权的投票机制代替平均投票机制。让分类效果好的弱分类器具有较大的权重，而分类效果差的分类器具有较小的权重。 Adaoost算法是Freund和Schapire根据在线分配算法提出的，他们详细分析了Adaoost算法错误率的，以及为了使强分类器达到错误率，算法所需要的最多迭代次数等相关问题。与Boosting算法不同的是，daboost算法不需要预先知道弱学习算法学习正确率的下限即弱分类器的误差，并且最后得到的强分类器的分类精度依赖于所有弱分类器的分类精度，这样可以深入挖掘弱分类器Adaboost算法流程 Adaboost算法中不同的训练集是通过调整每个样本对应的权重来实现的。开始时，每个样本对应的权重是相同的，即其中为样本个数，在此样本分布下训练出一弱分类器。对于分类错误的样本，加大其对应的权重；而对于分类正确的样本，降低其权重，这样分错的样本就被突显出来，从而得到一个新的样本分布。在新的样本分布下，再次对样本进行训练，得到弱分类器。依次类推，经过次循环，得