19决策树与随机森林.pptVIP

决策树的生成过程 决策树的生成过程 决策树的生成过程 决策树的过拟合 决策树对训练属于有很好的分类能力，但对未知的测试数据未必有好的分类能力，泛化能力弱，即可能发生过拟合现象。 剪枝 随机森林 Bootstraping Bootstraping的名称来自成语“pull up by your own bootstraps”，意思是依靠你自己的资源，称为自助法，它是一种有放回的抽样方法。 注：Bootstrap本义是指高靴子口后面的悬挂物、小环、带子，是穿靴子时用手向上拉的工具。“pull up by your own bootstraps”即“通过拉靴子让自己上升”，意思是“不可能发生的事情”。后来意思发生了转变，隐喻“不需要外界帮助，仅依靠自身力量让自己变得更好”。 Bagging的策略 bootstrap aggregation 从样本集中重采样(有重复的)选出n个样本 在所有属性上，对这n个样本建立分类器(ID3、C4.5、CART、SVM、Logistic回归等) 重复以上两步m次，即获得了m个分类器 将数据放在这m个分类器上，最后根据这m个分类器的投票结果，决定数据属于哪一类 Another description of Bagging Bagging Bagging的结果 随机森林 随机森林在bagging基础上做了修改。 从样本集中用Bootstrap采样选出n个样本； 从所有属性中随机选择k个属性，选择最佳分割属性作为节点建立CART决策树； 重复以上两步m次，即建立了m棵CART决策树 这m个CART形成随机森林，通过投票表决结果，决定数据属于哪一类 应用实例：Kinect Real-Time Human Pose Recognition in Parts from Single Depth Images, Jamie Shotton etc,2019, 随机森林/Bagging和决策树的关系 当然可以使用决策树作为基本分类器 但也可以使用SVM、Logistic回归等其他分类器，习惯上，这些分类器组成的“总分类器”，仍然叫做随机森林。 举例 决策树与随机森林 邹博 北京10月机器学习班 ML在线公开课第1期 2019年1月11日 目标任务与主要内容 复习信息熵 熵、联合熵、条件熵、互信息 决策树学习算法 信息增益 ID3、C4.5、CART Bagging与随机森林的思想 投票机制 分类算法的评价指标 ROC曲线和AUC值 决策树的实例(Weka自带测试数据) 注：Weka的全名是怀卡托智能分析环境(Waikato Environment for Knowledge Analysis)，是一款免费的，非商业化(与之对应的是SPSS公司商业数据挖掘产品--Clementine )的，基于JAVA环境下开源的机器学习(machine learning)以及数据挖掘(data minining)软件。它和它的源代码可在其官方网站下载。 复习：熵 将离散随机变量X的概率分布为P(X=xi)，则定义熵为： 若P为连续随机变量，则概率分布变成概率密度函数，求和符号变成积分符号。 在不引起混淆的情况下，下面谈到的“概率分布函数”，其含义是： 1、若X为离散随机变量，则该名称为概率分布函数； 2、若X为连续随机变量，则该名称为概率密度函数。 对熵的理解 熵是随机变量不确定性的度量，不确定性越大，熵值越大；若随机变量退化成定值，熵为0 均匀分布是“最不确定”的分布 熵其实定义了一个函数(概率分布函数)到一个值(信息熵)的映射。 P(x)?H (函数?数值) 泛函 回忆一下关于“变分推导”章节中对于泛函的内容。 联合熵和条件熵 两个随机变量X，Y的联合分布，可以形成联合熵Joint Entropy，用H(X,Y)表示 H(X,Y) – H(Y) (X,Y)发生所包含的信息熵，减去Y单独发生包含的信息熵——在Y发生的前提下，X发生“新”带来的信息熵 该式子定义为Y发生前提下，X的熵： 条件熵H(X|Y) = H(X,Y) – H(Y) 推导条件熵的定义式 相对熵 相对熵，又称互熵，交叉熵，鉴别信息，Kullback熵，Kullback-Leible散度等 设p(x)、q(x)是X中取值的两个概率分布，则p对q的相对熵是 说明： 相对熵可以度量两个随机变量的“距离” 在“贝叶斯网络”、“变分推导”章节使用过 一般的，D(p||q) ≠D(q||p) D(p||q)≥0、 D(q||p) ≥0 提示：凸函数中的Jensen不等式 互信息 两个随机变量X，Y的互信息，定义为X，Y的联合分布和独立分布乘积的相对熵。 I(X,Y)=D(P(X,Y) || P(X)