《数据挖掘与机器学习》 课件5.3.2 随机森林、任评估与优化加工厂玻璃类别识别模型.pptxVIP

8南宁职业技术学院

NCVTNANNINGCOLLEGEFORVOCATIONALTECHNOLOGY

厨

数据挖掘与机器学习

DATAMININGA°NDMACHINELEARNING

评估与优化加工厂玻璃类别识别模型

加工厂玻璃类别识别——决策树、随机森林

大国工匠，精益求精。拥有精益求精的学习和工作精神，才能够勇攀高峰，再创辉煌。

在模型建立之后，通常需要对模型进行评估。如果模型的性能较差，那么可以考虑对模型进行调优。

本任务介绍几种常见的评估方法，并在评估后对模型进行调优。在最后介绍了随机森

林算法。

评估与优化加工厂玻璃类别识别模型

任务描述

任务要求评估与优化加工厂玻璃类别识别模型

了解常见的评估方法。

了解随机森林的基本概念。

使用sklearn库对模型进行评估。

使用sklearn库构造随机森林模型。

Part1相关知识

·K折交叉验证与GridSearch网络搜索·随机森林

什么是随机森林?

·单棵决策树虽然也能学习复杂的函数，但容易出现过拟合的问题。研究人员自然就想到是否能创建多棵决策树，让每棵树都参与模型的预测，最后按照“少数服从多数的原则，选出总体的预测结果。这就是随机森林算法的雏形。

·随机森林(RandomForest)是一种基于决策树的集成学习算法。它将多个决策树进行集成，通过多数投票的方式对样本进行分类或回归预测。

评估与优化加工厂玻璃类别识别模型

随机森林

随机森林

训练集1

决策树1

分类结果1

评估与优化加工厂玻璃类别识别模型

训练样本集

—有放回的抽取样本和特征

Bootstrap抽样构建多个新的数据集

决策树K

分类结果K

决策树2

分类结果2

训练集2

训练集k

评估与优化加工厂玻璃类别识别模型

分类结果2分类结果K

随机森林

分类结果1

最终确定样本的分类结果

分类结果

随机森林采用多数投票的方式，将每棵决策树的分类结果进行统计和汇总

投票

通过多次随机抽取样本集和构建决策树，随机森林可以产生多个不同的决策树。

随机森林采用多数投票的方式，将每棵决策树的分类结果进行统计和汇总，最终确定样本的分类结果。

具体来说，随机森林的分类模型包含以下两个步骤。

决策

分类

模型训练

随机森林

使用sklearn库中的RandomForestClassifier类可以建立随机森林模型，其基

本使用格式如下。

classsklearn.ensemble.RandomForestClassifier(n_estimators=10,criterion=gini,max_depth=None,min_samples_split=2,min_samples_leaf=1,max_features=auto,n_jobs=1,random_state=None,class_weight=None)

评估与优化加工厂玻璃类别识别模型

随机森林

参数名称

说明

n_estimators

接收int,表示决策树的数量，默认为10

criterion

接收str,表示衡量拆分质量的度量标准，默认为gini

max_depth

接收int,表示树的最大深度。默认为None,表示不限制树的深度

min_samples_split

接收int或float,表示拆分一个内部节点所需的最小样本数，默认为2

min_samples_leaf

接收int或float,表示叶节点上所需的最小样本数，默认为1

RandomForestClassifier类常用参数及其说明如下。

评估与优化加工厂玻璃类别识别模型

随机森林

参数名称

说明

max_features

接收int或str,表示每个决策树分裂时使用的最大特征数，默认为auto,表示所有特征

n_jobs

接收int,并行运算时使用的CPU核心数量。默认为1,表示使用所有核心

random_state

接收int,表示随机数生成器的种子，控制伪随机数的生成。默认为None

class_weight

接收字典或str,表示样本权重的设置，默认为None,表示所有样本权重相等

RandomForestClassifier类常用参数及其说明如下。

评估与优