大数据挖掘与应用 第7章 随机森林分类算法.pptVIP

第7章 随机森林分类算法 由于传统的很多分类方法具有精度不高且容易出现过拟合的问题，因此可以通过聚集多个模型的方法来提高预测精度，这种方法称为组合（ensemble）或分类器组合（classifier combination）方法。该类方法首先利用训练集数据构建一组基本的分类模型（base classifier），然后通过对每个基分类模型的预测值进行投票（因变量为分类或离散变量时）或取平均值（因变量为连续数值变量）来决定最终预测值。 7.1随机森林算法原理 7.1.1 随机森林算法原理 为了生成这些组合模型，通常要生成随机向量来控制组合中每个决策树的生成。Bagging是早期组合树方法之一，这是一种从训练集中随机抽取部分样本来生成决策树的方法，还有一种方法是随机分割选取，该方法在每个结点从K个最优分割中随机选取一种分割。Ho对随机子空间方法进行了深入研究并通过对特征变量随机选取子集来生成每棵决策树。Leo Breiman和Adele Cutler给出了随机森林（Radom Forest,RF）算法，该方法是结合了自助聚集（Bootstrap aggregating）想法和 Ho 的随机子空间（random subspace）方法以建造决策树的集合。 7.2随机森林算法的特点及应用 7.2.1随机森林算法的特点 大量的理论和实证研究都证明了RF 具有很高的预测准确率, 对异常值