5决策树与随机森林.pptVIP

32/60 决策树的生成过程 33/60 决策树的生成过程 34/60 决策树的过拟合 ? 决策树对训练属于有很好的分类能力，但对 未知的测试数据未必有好的分类能力，泛化 能力弱，即可能发生过拟合现象。 ? 剪枝 ? 随机森林 35/60 Bootstraping ? Bootstraping 的名称来自成语“ pull up by your own bootstraps ”，意思是依靠你自己的资源，称为自助 法，它是一种有放回的抽样方法。 ? 注： Bootstrap 本义是指高靴子口后面的悬挂物、小环、 带子，是穿靴子时用手向上拉的工具。“ pull up by your own bootstraps ”即“通过拉靴子让自己上升”，意思是 “不可能发生的事情”。后来意思发生了转变，隐喻 “不需要外界帮助，仅依靠自身力量让自己变得更好”。 36/60 Bagging 的策略 ? bootstrap aggregation ? 从样本集中重采样 ( 有重复的 ) 选出 n 个样本 ? 在所有属性上，对这 n 个样本建立分类器 ( ID3 、 C4.5 、 CART 、 SVM 、 Logistic 回归等 ) ? 重复以上两步 m 次，即获得了 m 个分类器 ? 将数据放在这 m 个分类器上，最后根据这