大学课程《机器学习与经济学实证应用》PPT课件：第5讲_集成算法.pptxVIP

1第5讲集成算法

主要内容2集成算法基本逻辑随机森林提升法

主要内容3集成算法基本逻辑随机森林提升法

集成算法基本逻辑4集成学习（ensemblelearning）方法，也称为组合学习集成学习就是将预测效果一般的弱学习器(weaklearner)，以某种方式将它们组合起来，构成一个预测效果优良的强学习器(stronglearner)。集成学习的基本思路类似于“三个臭皮匠，顶个诸葛亮”（wisdomofcrowds）。用于集成学习的弱学习器，也称为基学习器（baselearner），决策树是最常见的基学习器。

集成算法基本逻辑5?

集成算法基本逻辑6集成算法分类常用的集成方法：装袋法（Bagging）、提升法（Boosting）和堆叠法（Stacking）装袋法：并行的建立一些学习器，尽可能使其相互独立。从方差-偏差的角度看，可以有效减小方差提升法：串行的建立一些学习器，通过一定策略提升弱分类器效果，组合得到强分类器。从方差-偏差的角度看，可以有效减小偏差堆叠法：建立多个不同基模型，将每个模型的预测结果当做输入，建立一个高层的综合模型，可以有效改进预测

集成算法基本逻辑7我们重点学习Bagging和Boosting两种Bagging是一种简单的集成学习方法，方法是构建许多独立的预测器/模型/学习器，通过模型平均的方式来组合使用（如加权平均，按多数票规则投票，归一化平均），装袋法和随机森林就属于这种方式。该技术为每个模型使用随机抽样，所以每个模型都不太一样。每个模型的输入使用有放回的抽样，所以模型的训练样本各不相同，进而通过不相关的学习器减少方差来降低误差。Boosting在对模型进行集成学习时，不是独立的，而是串行的。梯度提升算法就是这种方式。该技术使用的逻辑是，后面的预测器学习的是前面预测器的误差。因此，观测数据出现在后面模型中的概率是不一样的，误差越大，出现的概率越高。所以观测数据不是基于随机有放回的抽样，而是基于误差。

集成算法基本逻辑8Bagging和BoostingBagging(independentmodels)Boosting(sequentialmodels)

集成算法基本逻辑9常见集成算法算法说明ensemble.AdaBoostClassifierAdaBoost分类ensemble.AdaBoostRegressorAdaBoost回归ensemble.RandomForestClassifier随机森林分类ensemble.RandomForestRegressor随机森林回归ensemble.GradientBoostingClassifier梯度提升分类ensemble.GradientBoostingRegressor梯度提升回归ensemble.BaggingClassifierBagging分类ensemble.BaggingRegressorBagging回归Ensemble.VotingClassifier投票表决分类器

主要内容10集成算法基本逻辑随机森林提升法

随机森林11决策树回顾每个内部节点上选用一个属性进行分割每个分叉对应一个属性值每个叶子结点代表一个分类

随机森林12决策树的构建步骤1：将所有的数据看成是一个节点，进入步骤2；步骤2：从所有的数据特征中挑选一个数据特征对节点进行分割，进入步骤3；步骤3：生成若干孩子节点，对每一个孩子节点进行判断，如果满足停止分裂的条件，进入步骤4；否则，进入步骤2；步骤4：设置该节点是叶子节点，其输出的结果为该节点数量占比最大的类别。

随机森林13决策树的过拟合决策树对训练属于有很好的分类能力，但对未知的测试数据未必有好的分类能力，泛化能力弱，即可能发生过拟合现象。解决的办法：-剪枝-随机森林

随机森林14装袋法Breiman（1996）提出装袋法（bootstrapaggregating，简记bagging）。装袋法使用“自助法”（bootstrap）搅动数据。是一种在原始数据集上通过有放回抽样重新选出B个新数据集来训练分类器的集成技术。它使用训练出来的分类器的集合来对新样本进行分类，然后按多数投票或者对输出求均值的方法统计所有分类器的分类结果，结果最高的类别即为最终标签。

随机森林15装袋法具体步骤：-对训练数据进行有放回的再抽样，得到B个自助样本（bootstrapsamples），比如B=500.-根据自助样本估计B棵不同的决策树，不进行修枝。-对于回归问题，将B棵决策树的预测决策结果进行平均；对于分类树，进行多数投票选择。

随机森林16装袋法算法过程对总样本量为D，做100次bootstrap，每次得到的数据Di，Di的样本量为N对于每一个Di，使用局部回归拟合一条曲线(图中灰色线是其中的10条