人工智能经典电子书ml_19_20180929_Bagging与随机森林.pptxVIP

Bagging与随机森林

课程大纲2018.9.15集成学习实战2018.9.22Boosting与Adaboost实战2018.9.29Bagging与随机森林实战

Bagging与Boosting集成学习有两个流派一个是boosting派系，它的特点是各个弱学习器之间有依赖关系。另一种是bagging流派，它的特点是各个弱学习器之间没有依赖关系，可以并行拟合。

bagging的原理Bagging的弱学习器之间的确没有boosting那样的联系“随机采样”

随机采样随机采样(bootsrap)就是从我们的训练集里面采集固定个数的样本，但是每采集一个样本后，都将样本放回。也就是说，之前采集到的样本在放回后有可能继续被采集到。对于我们的Bagging算法，一般会随机采集和训练集样本数m一样个数的样本。这样得到的采样集和训练集样本的个数相同，但是样本内容不同。如果我们对有m个样本训练集做T次的随机采样，则由于随机性，T个采样集各不相同。

随机采样?

Bagging弱分类器类似Adaboost，bagging对于弱学习器没有限制最常用的是决策树和神经网络

Bagging结合策略分类问题，通常使用简单投票法，得到最多票数的类别或者类别之一为最终的模型输出。回归问题，通常使用简单平均法，对T个弱学习器得到的回归结果进行算术平均得到最终的模型输出。

Bagging方差与偏差Bag