第7章 集成学习.pptxVIP

第7章集成学习集成学习是一种思想，其基本原理非常简单，即通过融合多个模型，从不同的角度降低模型的方差或偏差。典型的集成学习的框架包括Bagging、Boosting、Stacking

主要内容偏差与方差Bagging及随机森林Boosting及Adaboost提升树Stacking实例：基于梯度下降树实现波士顿房价预测

偏差与方差定义????

偏差、方差与优化?方差越小，说明不同的采样分布D下，模型的泛化能力大致相当，侧面反应了模型没有发生过拟合偏差越小，说明模型对样本预测的越准，模型的拟合能力越好

偏差-方差窘境实际在选择模型时，随着模型复杂度的增加，模型的偏差越来越小，而方差会越来越大。如图所示，存在某一时刻，模型的方差和偏差之和最小，此时模型性能在误差及泛化能力方面达到最优

偏差与方差如图，红色的圆心代表理想的优化目标，黑色的点代表在不同的采样集合上训练模型的优化结果。可以看到左边一列低方差的优化结果要比右边一列高方差的优化结果更为集中，上边一行低偏差的优化结果要比下边一行高偏差的优化结果更靠近中心

Bagging算法思路从原始的样本集合采样，得到若干个大小相同的样本集合在每个样本集合上分别训练一个模型用投票法进行预测?

Bagging优化分析??实际情况往往鉴于两者之间。综上，Bagging优化的对象是模型的方差，对模型的偏差影响很小

随机森林算法思路随机森林（Randomforest）的原理与Bagging类似。Bagging的做法是在不同的样本集合上使用所有的属性训练若干棵树，而随机森林的做法则是在Bagging采样得到的样本集合的基础上，随机从中挑选出k个属性再组成新的数据集后再训练决策树。最后训练T棵树进行集成。集成之后的模型不易过拟合，泛化能力大为增强易于实现、易于并行

Boosting算法思路Boosting集成的思路是：首先在样本集合上训练一个简单的弱学习器，这样的模型往往是欠拟合的。后面每次依据前一个弱学习器，对样本集合中的样本权重或者概率分布做新的调整，着重考虑被弱学习器错误分类的样本，然后在调整好的样本集合上训练一个新的弱分类器。不断重复这一过程，直到满足一定的终止条件为止。然后将学习到的各个弱分类器按照性能的高低赋予不同的权重集成起来得到最终的模型。

Adaboost与加法模型优化?

Adaboost算法流程初始化样本权重的分布，每个样本拥有相同的权重循环迭代，每次用当前样本的权重分布训练一个新的分类器，并基于分类器对样本权重进行重新调整计算当前权重分布下的，分类模型的带权错误率计算当前模型的权重更新样本权重的分布依据样本的权重进行子模型训练：给权重大的样本的损失函数值乘以该权重以达到看重优化的目的按照概率分布从原始样本集合中进行采样产生新的样本集合?

Adaboost优化分析AdaBoost算法每次迭代关注上一步被分类错误的样本，说明AdaBoost算法着重优化的是偏差，对方差的优化不明显但仍有参考意义，集成模型的方差与单模型基本相同。

提升树定义基模型为决策树的Boosting算法称为提升树。通常提升树以CART算法作为基模型决策树的训练方法。典型的提升树算法有GBDT、XGBOOST等。提升树有着可解释性强、伸缩不变性（无需对特征进行归一化）、对异常样本不敏感等优点，被认为是最好的机器学习算法之一，在工业界有着广泛的应用残差提升树GBDTXGBOOST…

残差提升树???

梯度提升树与残差提升树差异梯度提升树（GradientBoostingDecisionTree,GBDT）的整体结构与残差提升树类似。不同的是，残差提升树拟合的是样本的真实值与当前已训练好的模型的预测值之间的残差，而梯度提升树拟合的则是损失函数对当前已训好模型的负梯度，这样就可以设定任意可导的损失函数对于负梯度有：其中??

GBDT算法流程???

XGBoost的正则化项??

XGBoost的目标函数XGBoost的目标函数可以写作根据二阶泰勒展开，有其中???

XGBoost的目标函数????

XGBoost的最小损失函数???

XGBoost构建决策树??

StackingStacking的思想是，用不同的子模型对输入提取不同的特征，然后拼接成一个特征向量，得到原始样本在特征空间的表示，然后在特征空间再训练一个学习器进行预测

实例：基于梯度下降树实现波士顿房价预测sklearn定义了GradientBoostingRegressor类作为GBDT回归模型。其构造函数的n_estimators参数决定了集成模型中包含的决策树的个数，默认值为100。这里我们取n_estimators为50，可以得到模型在训练集和测试集的准确率分别为0.96和0.93。当决策树过多时，集成模型整体表现为过拟合，反之则为欠拟合。因