SPSSAU_机器学习_极端随机树.pdf

SPSSAU-在线SPSS分析软件

Extratrees极端随机树模型SPSSAU

极端随机树

Contents

1背景2

2理论2

3操作3

4SPSSAU输出结果3

5文字分析4

6剖析6

ExtraTrees（ExtremelyRandomizedTrees）算法是一种集成学习方法，通过构建多棵极度随机化的决

策树来提高模型的泛化能力和稳定性。主要步骤如下：

第一：样本选择，从训练数据中随机选择样本；

第二：特征选择，在每个节点，随机选择一部分特征；

第三：分裂点选择，对每个选定的特征，随机选择一个分裂点；

第四：节点分裂，使用随机选择的特征和分裂点来分裂节点，创建子节点；

第五：树构建，重复上述步骤，直到达到预定的停止条件（如最大树深或最小节点样本数）；

第六：集成结果，对所有树的预测结果进行集成（分类问题使用投票，回归问题取平均值）。

这种随机性使得ExtraTrees算法在处理高维数据和防止过拟合方面具有优势。

SPSSAU-在线SPSS分析软件

极端随机树模型案例

Contents

1背景2

2理论2

3操作3

4SPSSAU输出结果3

5文字分析4

6剖析6

1背景

当前有一项关于‘信用卡交易欺诈’的数据科学研究，已整理好数据共为1000条，其包括六项，分

别是换设备次数，支付失败次数，换IP次数，换IP国家次数，交易金额和欺诈标签，欺诈标签时，数字

1表示欺诈，数字0表示没有欺诈行为，现希望通过极端随机树进行模型构建，并且做一些预测工作，部

分数据如下图所示：

2理论

在进行极端随机树模型时，其涉及参数如下表所述：

参数说明参数值设置

节点分裂标准用于在构建决策树时产生分枝的分类任务时：gini:衡量节点的不纯度，gini值越

依赖标准小，节点越纯，默认分裂标准项。entrop:基于信息

增益，Entropy越小，节点越纯。

回归任务时：squared_error:均方误差(MSE)，即目

标值与预测值之间的平方误差的均值。

absolute_error:绝对误差(MAE)，即目标值与预测值

之间的绝对误差的均值。poisson:泊松误差，基于

泊松分布的误差标准，适用于计数数据的回归问

题。

最大特征数目限制极端随机树在构建每棵决策树auto:系统自动判断（默认值）;sqrt：特征总数的开

时，能使用的最大特征数目平方;log2：特征总数取2为底的对数。

节点分裂最小样本限定一个节点必须包含至少多少默认是2

SPSSAU-在线SPSS分析软件

数