决策树分类2023年第三届中国高校大数据挑战赛.docx

分析流程

数据源：

赛题D(1).xlsx

算法配置：

算法：决策树分类

分析结果：

决策树分类基于准确率、召回率、精确率、F1指标对模型进行评价，请看详细结论。

分析步骤

1.通过训练集数据来建立决策数分类模型，得到决策树结构。

2.通过建立的决策树来计算特征重要性。

3.将建立的决策树分类模型应用到训练、测试数据，得到模型的分类评估结果。

4.由于决策树具有随机性，每次运算的结果不一样，若保存本次训练模型，后续可以直接上传数据代入到本次训练模型进行计算分类。

5.注：决策树无法像传统模型一样得到确定的方程，在每个决策节点上，所选择的分割特征决定了最终的分类结果，通常通过测试数据分类效果来对模型进行评价。

详细结论

输出结果1：模型参数

参数名

参数值

训练用时

0.663s

数据切分

0.7

数据洗牌

是

交叉验证

10

节点分裂评价准则

gini

特征划分点选择标准

best

划分时考虑的最大特征比例

None

内部节点分裂的最小样本数

2

叶子节点的最小样本数

1

叶子节点中样本的最小权重

0

叶子节点的最大数量

50

树的最大深度

10

节点划分不纯度的阀值

0

图表说明：

上表展示了模型各项参数配置以及模型训练时长。

输出结果2：决策树结构

图表说明：

上图展示了决策树结构，内部节点给出了被分枝特征的具体切分情况，即根据某个特征的某个切分值进行划分。

（若节点数大于30，点击下载按钮查看决策树结构）

●gini/信息熵用以确定对哪一个特征进行切分。

●样本种类分布是该节点中属于各个分类组别的样本数量，如[10,5,5]表示三种分类组别分别有10、5、5个样本数量。

●分类情况是该节点的样本统一被划分到的分类组别（这是由拥有最大样本量的组别所决定的）。

PS：特别注意的是，若节点数大于30，系统提供下载按钮查看决策树结构；若节点数大于2000，由于树结构渲染模糊，系统不提供下载导出。

输出结果3：特征重要性

图表说明：

上柱形图或表格展示了各特征（自变量）的重要性比例。

输出结果4：混淆矩阵热力图

图表说明：

上表以热力图的形式展示了混淆矩阵。

输出结果5：模型评估结果

准确率

召回率

精确率

F1

训练集

0.905

0.905

0.905

0.905

交叉验证集

0.894

0.894

0.896

0.895

测试集

0.899

0.899

0.899

0.899

图表说明：

上表中展示了训练集和测试集的分类评价指标，通过量化指标来衡量决策树对训练、测试数据的分类效果。

●准确率：预测正确样本占总样本的比例，准确率越大越好。

●召回率：实际为正样本的结果中，预测为正样本的比例，召回率越大越好。

●精确率：预测出来为正样本的结果中，实际为正样本的比例，精确率越大越好。

●F1：精确率和召回率的调和平均，精确率和召回率是互相影响的，虽然两者都高是一种期望的理想情况，然而实际中常常是精确率高、召回率就低，或者召回率低、但精确率高。若需要兼顾两者，那么就可以用F1指标。

输出结果6：测试数据预测评估结果

预测结果Y

职业资格等级

预测测试结果概率_0.0

预测测试结果概率_1.0

预测测试结果概率_2.0

入学技能1考核成绩

入学技能2考核成绩

入学技能3考核成绩

入学技能4考核成绩

入学技能5考核成绩

入学考核总分成绩

2.0

2.0

0.20532319391634982

0

0.7946768060836502

0.34549

0.73572

0.43752

1.2642

0.77254

0.88186

0.0

0.0

0.998369077713447

0

0.0016309222865530458

-0.88563

-0.63308

0.48024

0.14857

-0.08017

-0.15391

2.0

2.0

0.20532319391634982

0

0.7946768060836502

0.56275

0.73572

0.60838

0.95183

0.77254

0.88186

0.0

0.0

0.998369077713447

0

0.0016309222865530458

-2.0443

0.73572

0.56567

-0.56543

0.29881

-0.06081

0.0

0.0

0.998369077713447

0

0.0016309222865530458

-0.01661

-0.13119

0.26666

-0.07455

0.29881

0.09049

2.0

2.0

0.14389359129383314

0.0012091898428053204

0.8548972188633616

0.12823

0.9182