机器学习及其应用：随机森林PPT教学课件.pptxVIP

第十章随机森林

聚类算法随机森林是一种集成学习算法，它由多棵决策树组成。用多棵决策树联合预测可以提高模型的精度，这些决策树用对训练样本集随机抽样构造出的样本集训练得到。由于训练样本集由随机抽样构造，因此称为随机森林。随机森林不仅对训练样本进行抽样，还对特征向量的分量随机抽样，在训练决策树时，每次寻找最佳分裂时只使用一部分抽样的特征分量作为候选特征进行分裂。

目录变量10.4随机森林案例10.5CONTENTS集成学习10.1随机森林概述10.2训练算法10.3

集成学习10.1

集成学习成学习（EnsembleL.earning）是机器学习中的一种思想，它通过多个模型的组合形成一个精度更高的模型，参与组合的模型称为弱学习器（WeakLearner）。在预测时使用这些弱学习器模型联合进行预测；训练时需要用训练样本集依次训练出这些弱学习器。本章介绍的Bagging框架是集成学习的典型例子。?10.1.1随机抽样Bootstrap抽样是一种数据抽样方法。抽样是指从一个样本数据集中随机选取一些样本，形成新的数据集。这里有两种选择：有放回抽样和无放回抽样。对于前者，一个样本被抽中之后会放回去，在下次抽样时还有机会被抽中。对于后者，一个样本被抽中之后就从抽样集中去除，下次不会再参与抽样，因此，一个样本最多只会被抽中一次。在这里Bootstrap使用的是有放回抽样。这种抽样的做法是在