集成学习算法应用与实践解析.pptxVIP

集成学习Bagging,BoostingandStacking王秋月中国人民大学信息学院第1页

问题:决议树容易过拟合剪枝有利于将方差（variance）减少到一定程度通常使模型泛化的效果并不显著决议树：高方差第2页

改善：使用多棵树创建许多棵不同的树第3页

改善：使用多棵树结合所有树的预测来降低方差第4页

什么是集成学习训练多个学习器来完毕预测任务（分类或回归），然后通过结合多个学习器的预测成果而得到最后的成果。简单平均投票：硬投票、软投票第5页

“三个臭皮匠，顶个诸葛亮”？FrancisGalton（1822-1911）英国科学家、探险家问题简单，且有唯一正确答案；独立、有差别的个体为何？第6页

怎样构建多个有差别的学习器不同的机器学习模型相似的机器学习模型，不同的训练数据集不同的特征选择不同的超参数第7页

bagging第8页

怎样创建多棵树使用bootstrapping，即有放回的随机抽样第9页

怎样创建多棵树创建多个bootstrapped样本第10页

怎样创建多棵树使用每个bootstrapped样本构建一棵决议树第11页

样本中的数据分布(1-1/n)n00.250.300.350.4020 40 60 80 100NumberofBootstrappedSamples(n)给定一种包括n条统计的数据集，创建n个bootstrapped样本对于给定