SPSSAU_机器学习_Adaboost SPSSAU手册.pdf

SPSSAU-在线SPSS分析软件

Adaboost模型SPSSAU

Adaboost模型

Contents

1背景2

2理论2

3操作3

4SPSSAU输出结果3

5文字分析3

6剖析6

AdaBoost（AdaptiveBoosting）算法的核心思想是将多个弱分类器组合成一个强分类器。其算法步骤

如下：

第一：初始化权重，为每个训练样本分配相等的初始权重；

第二：训练弱分类器，根据当前样本权重训练一个弱分类器，并计算其错误率；

第三：更新权重，增加错分类样本的权重，使后续弱分类器更关注这些样本，减少正确分类样本的

权重；

第四：组合分类器，将所有弱分类器的加权结果组合起来，形成最终的强分类器；

最后：通过反复迭代以上步骤，AdaBoost能够显著提高分类性能。

SPSSAU-在线SPSS分析软件

Adaboost模型案例

Contents

1背景2

2理论2

3操作3

4SPSSAU输出结果3

5文字分析3

6剖析6

1背景

当前有一项关于‘信用卡交易欺诈’的数据科学研究，已整理好数据共为1000条，其包括六项，分

别是换设备次数，支付失败次数，换IP次数，换IP国家次数，交易金额和欺诈标签，欺诈标签时，数字

1表示欺诈，数字0表示没有欺诈行为，现希望通过Adaboost进行模型构建，并且做一些预测工作，部分

数据如下图所示：

2理论

在进行Adaboost模型时，其涉及参数如下表所述：

参数说明参数值设置

损失函数构建模型的算法方式，通常使用其仅针对回归任务时使用。linear:使用预测误差的

默认参数值即可绝对值来衡量误差的大小。square:使用预测误差的

平方来衡量误差的大小。exponential:使用预测误差

的指数值来衡量误差的大小。

学习器数量用于构建的树的数量默认是50

学习率学习率即模型参数更新步长，越范围(0.0,1.0]默认0.1

小收敛越快，但迭代次数越多。

任务类型包括自动判断，分类和回归任务系统会结合Y的不同数字个数自动判断分类或回归

任务，当然可自行选择分类或回归任务

除此之外，与其它的机器学习算法类似，SPSSAU提供训练集比例参数（默认是训练集占0.8，测试集

占0.2），数据归一化参数（默认不进行），以及保存预测值（Adaboost时会生成预测类别，但不会生成预

测概率），保存训练测试标识（生成一个标题来标识训练集和测试集数据的标识）。

SPSSAU-在线SPSS分析软件

3操作

本例子操作截图如下：

将欺诈标签放入Y框中，其余5个特征项作为自变量X。与此同时，训练集比例默认为0.8，暂不

进行数据归一化，当然当前数据也可考虑做标准化处理，因为涉及数据的量纲不同。更多参数设置暂保持

为默认值。

4SPSSAU输出结果

SPSSAU共输出5项结果，依次为基本信息汇总，特征权重