XGBoost-2数学建模竞赛.docVIP

XGBoost基本信息汇总?MACROBUTTONDoFieldClick[]

选项

频数

百分比

有效

13

13.00%

缺失

87

87.00%

总计

100

100.00%

Suggestions?MACROBUTTONDoFieldClick[]

XGBoost（eXtremeGradientBoosting）是一种梯度提升算法，它通过迭代训练弱分类器（通常是决策树）并集成它们的预测，从而构建一个更强大的模型，其要点包括：

第一：boosting算法，XGBoost是一种梯度提升算法，通过组合多个弱学习器，每一轮迭代都校正上一轮模型的误差，逐步提升整体模型性能；

第二：决策树基学习器，XGBoost使用决策树作为基学习器，形成强大的集成模型。每个决策树通过根据梯度下降的原则，选择最佳分割点来分裂数据；

第三：正则化项，XGBoost引入了正则化项，包括L1正则化和L2正则化，以控制模型的复杂度，防止过拟合，正则化项通过在损失函数中引入惩罚项，对树的复杂性进行控制；

第四：XGBoost提供了一种直观的方式来评估特征的重要性，通过分析树的分裂点上特征的贡献度。

IntelligentAnalysis?MACROBUTTONDoFieldClick[]

将Totalnumberofhouseholds,Greeningrate,Floorarearatio,Propertymanagementfee（/m2/monthUSD）,above-groundparkingfee（/monthUSD）,undergroundparkingfee（/monthUSD）,citycode,adcode,lon,lat,X,Y项作为自变量，而将Price(USD)作为因变量进行XGBoost建模，从上表可以看出，总共有13个样本参与分析。

特征权重值?MACROBUTTONDoFieldClick[]

项

权重值

Totalnumberofhouseholds

0.476

Greeningrate

0.004

Floorarearatio

0.039

Propertymanagementfee（/m2/monthUSD）

0.355

above-groundparkingfee（/monthUSD）

0.002

undergroundparkingfee（/monthUSD）

0.102

citycode

0.000

adcode

0.000

lon

0.022

lat

0.000

X

0.000

Y

0.000

IntelligentAnalysis?MACROBUTTONDoFieldClick[]

特征权重显示了各标题对模型贡献的重要程度，其加和值为1，从上表可知：

Totalnumberofhouseholds所占比重为47.61%，该特征的权重最高，对模型构建起着关键作用；

Propertymanagementfee（/m2/monthUSD）所占比重为35.48%，该特征的重要性次之，对模型构建起着重要作用；

undergroundparkingfee（/monthUSD）所占比重为10.21%；

以上3项特征的比重合计占到了93.31%；

剩余9项Floorarearatio、lon、Greeningrate、above-groundparkingfee（/monthUSD）、Y、X、lat、adcode、citycode的比重则分别为：3.92%、2.20%、0.38%、0.20%、0.00%、0.00%、0.00%、0.00%、0.00%。

模型评估结果?MACROBUTTONDoFieldClick[]

指标

说明

训练集时

测试集时

R方值

拟合程度指标，0~1之间越大越好

1.000

-72.611

平均绝对误差值MAE

L1损失，真实值与拟合值的平均值差值，越接近于0越好

13.321

1509.130

均方误差MSE

L2损失，误差平方和均值，越接近于0越好

641.945

2368368.669

均方误差根RMSE

MSE开根号，平均gap值

25.337

1538.951

中位数绝对误差MAD

预测值离中位数残差的绝对值，不受异常值影响，越小越好

1.682

1448.675

平均绝对百分误差MAPE

平均误差百分比，不受异常点影响，越小越好

0.000

0.004

可解释方差分EVS

衡量模型对数据波动的解释力度，介于[0,1]之间，越大越好

1.000

-1.825

均方根对数误差MSLE

在RMSE相同时，其对欠预测惩罚更多（使用较少）

0