Python大数据分析与挖掘实战课件 7-7 XGBoost算法.pptxVIP

第7章集成学习与实现集成学习的概念Bagging算法随机森林算法Boosting算法

7.7XGBoost算法2对于GBDT算法的具体实现，最为出色的是XGBoost树提升系统，此模型的性能已得到广泛认可，并被大量应用于Kaggle等数据挖掘比赛中，取得了极好的效果。在XGBoost系统实现的过程中，对于GBDT算法进行了多方面的优化。由于诸多方面的优化实现，XGBoost在性能和运行速度上都优于一般的GBDT算法。1.XGBoost算法的基本原理XGBoost（ExtremeGradientBoosting）算法是一种基于GBDT的算法，其基本思想于GBDT类似，每一次计算都要减少前一次的残差值，但XGBoost进行了优化，包括在损失函数中增加正则化项，缩减树权重和列采样，在工程实现方面采用行列块并行学习，减少时间开销。

7.7XGBoost算法3XGBoost软件包是对原始梯度提升算法的高效实现，常用于一些数据挖掘竞赛中。在使用之前要先安装。可以通过pipinstallxgboost在线安装。也可以先下载whl文件，然后在本地安装。XGBClassifier和XGBRegressor两个类分别实现了梯度提升分类和回归。这两个类均位于模块xgboost.sklearn中。XGBoost中API的调用方法与scikit-learn中的调用方法类似。2.XGBoost算法的Sklearn实现下面是在Python环境下使用XGBoost模块进行回归的调用示例，首先用pandas构造一个最简单的数据集df，其中x的值为[1,2,3]，y的值为[10,20,30]，并构建训练集矩阵T_train_xbg。代码如下

7.7XGBoost算法4importpandasaspdimportxgboostasxgbdf=pd.DataFrame({x:[1,2,3],y:[10,20,30]})X_train=df.drop(y,axis=1)Y_train=df[y]T_train_xgb=xgb.DMatrix(X_train,Y_train)params={objective:reg:linear,booster:gblinear}gbm=xgb.train(dtrain=T_train_xgb,params=params)Y_pred=gbm.predict(xgb.DMatrix(pd.DataFrame({x:[4,5]})))print(Y_pred)

7.7XGBoost算法5XGBClassifier中初始化参数use_label_encoder已被弃用，在线文档建议新的程序设置use_label_encoder=False。此时，要求类别标签值是从0开始到类别总数减一的连续整数值。由于玻璃类别数据集中，类别只有1、2、3、5、6、7六种类别，因此依次将其编码到0至5。程序的执行结果中，类别标签是转换后的标签值。0至2对应原标签的1至3，3至5对应原标签的5至7。读者也可以在程序中将标签转换为原标签的值。

7.7XGBoost算法6（1）读取glass.data中的玻璃分类数据集，拆分训练集和测试集，用XGClassifier从训练集中学习预测模型，输出模型在训练集和测试集的预测准确率、测试集中前两个样本的预测标签和预测概率值，并与真实值进行比较。①．加载数据集，并划分训练集和测试集importpandasaspdfromsklearn.model_selectionimporttrain_test_splitfromxgboostimportXGBClassifier3.XGBoost算法的应用举例

7.7XGBoost算法7②调整参数filename=./glass.dataglass_data=pd.read_csv(filename,index_col=0,header=None)X,y=glass_data.iloc[:,:-1].values,glass_data.iloc[:,-1].values#XGBClassifier中初始化参数use_label_encoder已被弃用#新的程序建议设置use_label_encoder=False，此时，#类别标签必须为整数，值从0开始到类别总数-1，并且是连续的值y=y-1 #原来类别编码从1开始，所以要减去1#原始类别编号没有4，因此y=y-1后没有3，新编号4至6的要再减去1y[y==4]=3y[y==5]=4y[y==6]=5#print(y)3.XGBoost算