人工智能经典电子书ml_19_20180929_分类与回归树.pdfVIP

分类回归树

课程大纲

•2018.9.15

–集成学习

–实战

•2018.9.22

–Boosting与Adaboost

–实战

•2018.9.29

–Bagging与随机森林

–实战

•分类与回归树：

•分类回归树(CART,ClassificationAnd

RegressionTree)属于一种决策树，分类回

归树是一棵二叉树，且每个非叶子节点都

有两个孩子，所以对于第一棵子树其叶子

节点数比非叶子节点数多1。

•上例是属性有8个，每个属性又有多少离散的值可取。在

决策树的每一个节点上我们可以按任一个属性的任一个值

进行划分。比如最开始我们按：1）表面覆盖为毛发和非

毛发；2）表面覆盖为鳞片和非鳞；3）体温为恒温和非恒

温等等产生当前节点的左右两个孩子。按哪种划分最好

呢？有3个标准可以用来衡量划分的好坏：GINI指数、双

化指数、有序双化指数。下面我们只讲GINI指数。

•总体内包含的类别越杂乱，GINI指数就越大（跟熵的概念很相似）。

比如体温为恒温时包含哺