机器学习算法与实践 课件 第七章 决策树与集成学习.pptx

第7章决策树与集成学习信息增益、Gini系数与集成学习算法《机器学习算法与实践》

章节概览7.1决策树主要内容决策树构建过程与优缺点信息增益与Gini系数度量剪枝策略与过拟合控制样本不平衡问题处理7.2集成学习Bagging与随机森林Bootstrap采样·特征随机选择·并行集成Boosting与AdaBoost权重调整·顺序训练·自适应提升梯度提升树（GBDT）负梯度拟合·迭代优化·损失函数最小化极限提升树（XGBoost）二阶泰勒展开·正则化·并行计算

7.1决策树定义一种非参数监督学习方法基本思想通过一系列if-then-else决策规则，将输