xgboost分类2023年第三届中国高校大数据挑战赛.docx

分析流程

数据源：

赛题D(1).xlsx

算法配置：

算法：XGBoost分类

分析结果：

XGBoost分类基于准确率、召回率、精确率、F1指标对模型进行评价，请看详细结论。

分析步骤

1.通过训练集数据来建立XGBoost分类模型。

2.通过建立的XGBoost来计算特征重要性。

3.将建立的XGBoost分类模型应用到训练、测试数据，得到模型的分类评估结果。

4.由于XGBoost具有随机性，每次运算的结果不一样，若保存本次训练模型，后续可以直接上传数据代入到本次训练模型进行计算分类。

5.注：XGBoost无法像传统模型一样得到确定的方程，通常通过测试数据分类效果来对模型进行评价。

详细结论

输出结果1：模型参数

参数名

参数值

训练用时

18.788s

数据切分

0.7

数据洗牌

是

交叉验证

10

基学习器

gbtree

基学习器数量

100

学习率

0.1

L1正则项

0

L2正则项

1

样本征采样率

1

树特征采样率

1

节点特征采样率

1

叶子节点中样本的最小权重

0

树的最大深度

10

图表说明：

上表展示了模型各项参数配置以及模型训练时长。

输出结果2：特征重要性

图表说明：

上柱形图或表格展示了各特征（自变量）的重要性比例。

输出结果3：混淆矩阵热力图

图表说明：

上表以热力图的形式展示了混淆矩阵。

输出结果4：模型评估结果

准确率

召回率

精确率

F1

训练集

0.969

0.969

0.97

0.969

交叉验证集

0.892

0.892

0.892

0.892

测试集

0.897

0.897

0.897

0.897

图表说明：

上表中展示了交叉验证集、训练集和测试集的预测评价指标，通过量化指标来衡量XGBoost的预测效果。其中，通过交叉验证集的评价指标可以不断调整超参数，以得到可靠稳定的模型。

●准确率：预测正确样本占总样本的比例，准确率越大越好。

●召回率：实际为正样本的结果中，预测为正样本的比例，召回率越大越好。

●精确率：预测出来为正样本的结果中，实际为正样本的比例，精确率越大越好。

●F1：精确率和召回率的调和平均，精确率和召回率是互相影响的，虽然两者都高是一种期望的理想情况，然而实际中常常是精确率高、召回率就低，或者召回率低、但精确率高。若需要兼顾两者，那么就可以用F1指标。

输出结果5：测试数据预测评估结果

预测结果Y

职业资格等级

预测测试结果概率_0.0

预测测试结果概率_1.0

预测测试结果概率_2.0

入学技能1考核成绩

入学技能2考核成绩

入学技能3考核成绩

入学技能4考核成绩

入学技能5考核成绩

入学考核总分成绩

0.0

0.0

0.9999314546585083

0.000026505043933866546

0.000042072570067830384

-1.465

-0.26806

-0.71581

-1.3687

-0.17492

-0.89874

0.0

0.0

0.9999314546585083

0.000026505043933866546

0.000042072570067830384

-0.52354

0.69009

-0.63038

0.14857

0.39356

0.05557

1.0

2.0

0.0013510404387488961

0.8171691298484802

0.1814798265695572

0.56275

1.0095

0.9074

1.3535

1.1515

1.231

0.0

0.0

0.9999314546585083

0.000026505043933866546

0.000042072570067830384

-0.52354

0.55321

0.30937

-0.07455

-0.17492

0.07885

0.0

0.0

0.9999314546585083

0.000026505043933866546

0.000042072570067830384

-0.66838

0.1882

-0.54495

-1.5026

-0.26966

-0.66598

2.0

2.0

0.09930729120969772

0.001009648316539824

0.8996830582618713

1.4318

0.73572

0.13851

1.175

0.6778

0.92842

0.0

0.0

0.9999314546585083

0.000026505043933866546

0.000042072570067830384

-2.5513

-1.6369

-1.1857

-0.78856

-1.4066

-1.7018

2.0

0.0

0.3378911614