机器学习课件__Boosting.pptxVIP

Boosting 集成学习如何创建？如何组合？如何建立？构建组合分类器方法的逻辑视图 Boosting是根据学习器的表现对训练样本分布进行调整，基于调整后的样本分布来训练下一个学习器，直至达到停止条件，最总将T个学习器进行加权结合。强学习机弱学习机原始训练集加权后的训练集加权后的假设X1?1:-1 弱假设Boosting流程(loop1) Boosting是根据学习器的表现对训练样本分布进行调整，基于调整后的样本分布来训练下一个学习器，直至达到停止条件，最总将T个学习器进行加权结合。Boosting流程(loop2)强学习机弱学习机原始训练集加权后的训练集加权后的假设Y3?1:-1 弱假设 Boosting是根据学习器的表现对训练样本分布进行调整，基于调整后的样本分布来训练下一个学习器，直至达到停止条件，最总将T个学习器进行加权结合。Boosting流程(loop3)强学习机弱学习机原始训练集加权后的训练集加权后的假设Z7?1:-1弱假设 Boosting……xc1(x)c2(x)cT(x)C* c*(x) = argmaxcm Dct(x)C1 训练D,w1训练C2 D,w2CT 训练D,wT原始训练集基本思想：每个样本都赋予一个权重T次迭代，每次迭代后，对分类错误的样本加大权重，使得下一次的迭代更加关注这些样本。用全部的训练样本进行学习 Boosting通过数据分布的改变来实现的，根据每次弱分类器训练集中每个样本的分类正确与否，及上次总体分类的准确率，对每个样本的权值进行调整，降低弱分类器中分类正确的样本的权值，提高弱分类器分类错误的样本的权值。修改过权值的新数据集作为下层分类器的训练集，经过多次迭代得到相应的弱分类器，对训练得到的这些弱分类器进行融合 ， 得到最终的强分类器 。 BoostingStep1: 原始训练集输入，带有原始分布Step2: 给出训练集中各样本的权重Step3: 将改变分布后的训练集输入已知的弱学习机，弱学习机对每个样本给出假设Step4: 对此次的弱学习机给出权重Step5: 转到Step2, 直到循环到达一定次数或者某度量标准符合要求Step6: 将弱学习机按其相应的权重加权组合形成强学习机流程描述一种迭代过程，通过更多地关注先前的错误分类记录来自适应地改变训练数据的分布最初，所有N个记录都被赋予相等的权重 Boosting案 例被错误分类的样本，其权值将增加被正确分类的样本，其权值将减小假设样本4很难被分类；它的权值增加了，因此更有可能在随后的轮次中再次被选中。 Boosting????AdaBoost Boosting样本权值更新:如果任何中间轮产生大于50%的错误率，则权重恢复为1/n，并重复重采样过程分类预测:??AdaBoost BoostingAdaBoost算法的描述n为训练样本数目自适应地调整AdaBoost Boostingfrom sklearn.ensemble import AdaBoostClassifier # 分类AdaBoost# 1.创建数据2.构建AdaBoost模型bdt = AdaBoostClassifier(DecisionTreeClassifier(max_depth=1), algorithm=SAMME.R, n_estimators=200)bdt.fit(X, Y) #训练模型# 3.预测Z = bdt.predict(np.c_[XX.ravel(), YY.ravel()])AdaBoost BoostingAdaBoost 1-维数据集:分类器是决策树决策规则: x ? k 以及 x k基于最小熵选择分裂点kx ? kyleftyrightTrueFalse BoostingAdaBoost 前3轮提升:3个基分类器? BoostingAdaBoost 样本权值:分类?预测： BoostingAdaBoost生成一些随机数据来做二元分类用基于决策树的Adaboost来做分类拟合200个弱分类器，步长0.8Score: 0.91 THANKS