机器学习分类方法详细讨论_决策树和随机森林.ppt

OOB估计 计算1（以树为单位）：对每颗树，利用未被该树选中的训练样本点，统计该树的误分率；将所有树的误分率取平均得到随机森林的OOB误分率 计算2（以样本为单位）：对每个样本，计算它作为OOB样本的树对它的分类情况（约1/3的树）；然后以简单多数投票作为该样本的分类结果；最后用误分个数占样本总数的比率作为随机森林的OOB误分率 OOB误分率是随机森林的泛化误差的一个无偏估计 OOB估计是高效的，其结果近似于需要大量计算的k折交叉验证。 随机森林的特点 两个随机性的引入，使得随机森林不容易陷入过拟合 两个随机性的引入，使得随机森林具有很好的抗噪声能力 对数据集的适应能力强：既能处理离散型数据，也能处理连续型数据，数据集无需规范化。 可生成一个Proximities=（pij）矩阵，用于度量样本之间的相似性： pij=aij/N, aij表示样本i和j出现在随机森林中同一个叶子结点的次数，N随机森林中树的颗数。 可以得到变量重要性排序（两种：基于OOB误分率的增加量和基于分裂时的GINI下降量） 主要参考文献 J.R. Quinlan. Induction of Decision Trees[J].Machine learning 1986,1:81-106. S.L. Salzberg.Book Review:C4.5 Programs for Machine Learning by J.Ross Quinlan[J]. Machine Learning,1994,3:235-240. L.Breiman, J.Friedman,al.et. Classification and Regression Trees[M]. New York: Chapman Hall,1984. L.Breiman. Random Forests[J].Machine Learning,2001,45(1):5-32. /users/breiman/randomforests * * * 机器学习高手必读 决策树 随机森林 贝叶斯方法 随机森林 决策树 分类器组合 随机森林 决策树的定义 决策树是这样的一颗树: 每个内部节点上选用一个属性进行分割 每个分叉对应一个属性值 每个叶子结点代表一个分类 A1 A2 A3 c1 c2 c1 c2 c1 a11 a12 a13 a21 a22 a31 a32 决策树框架 决策树生成算法分成两个步骤 树的生成 开始，数据都在根节点 递归的进行数据分片 树的剪枝 防止过拟合 决策树使用: 对未知数据进行分割 按照决策树上采用的分割属性逐层往下，直到一个叶子节点 决策树续2—分裂属性的选择度量 原则：分类效果最好的（或分类最纯的，或能使树的路径最短）的属性 常用度量 信息增益——Information gain (ID3/C4.5) 所有属性假设都是取离散值的字段（ID3） 经过修改之后可以适用于连续值字段（C4.5） 基尼指数——Gini index (Classification and Regression Tress,CART,Breiman,1984) 能够适用于离散和连续值字段 信息增益 任意样本分类的期望信息： I(s1,s2,……,sm)=－∑Pi log2(pi) (i=1..m) 其中，数据集为S，m为S的分类数目， Pi≈|Si/|S| Ci为某分类标号，Pi为任意样本属于Ci的概率， si为分类Ci上的样本数 I(s1,s2,……,sm)越小， s1,s2,……,sm就越有序（越纯），分类效果就越好。 由属性A划分为子集的熵： A为属性，具有V个不同的取值， S被A 划分为V 个子集s1,s2,……,sv，sij是子集sj中类Ci的样本数。 E(A)= ∑(s1j+ ……+smj)/s * I(s1j,……,smj) 信息增益：Gain(A)= I(s1,s2,……,sm) － E(A) 分裂属性选择规则：选择具有最大信息增益的属性为分裂属性 基尼指数 集合T包含N个类别的记录，那么其Gini指标就是 pj 类别j出现的频率 如果集合T分成m部分 N1 , N2 ,…, Nm 。那么这个分割的Gini就是 分裂属性选择规则：选择具有最小Ginisplit的属性为分裂属性 (对于每个属性都要遍历所有可能的分割方法). 过拟合 过拟合的原因：训练样本带噪声或不充分等 Error Overfitting Underfitting Complexity ErrorLS Errorunseen 树的剪枝 剪枝原因和目的：解决决策树对训练样本的过拟合问题 解决方法：剪枝（预剪枝，后剪枝）和树组合 后剪枝原则 最小描述长度原则(MDL) 思想：最简单的是最好的 做法：对Decision