不平衡数据集的问题研究-GEEK312.PDF

不平衡数据集的问题研究 基于信用卡诈骗交易的检测 摘要 本文主要探究比较了在机器学习中不平衡数据集的处理方法。 处理不平衡数据的学习问题一般分为三类：①重采样构造平衡集②特征选取③改 进分类算法。本文主要就①②展开做了比较。 文中以 Kaggle 的信用卡交易公开数据集为基础，对比了重采样方法中的Tomek links 欠采样、SMOTE 过采样、以及混合采样（Tomek links + SMOTE）,以及 基于正态分布、自动编码器、神经网络的特征选取方法之间的差异。 经过比较后发现，在数据严重不平衡时（本例 0.0017:1），重采样方法处理能力 有限，而基于神经网络的特征提取法表现较好。 目录 目录 1 1. 相关背景 1 2. 方法概述3 2.1 关于分类器的评价体系3 2.2 问题及方法4 3. 算例分析 5 3.1. 利用重采样技术来处理非平衡数据的学习5 3.1.1 参数设定 5 3.1.2 TOMEK LINKS 欠采样方法 8 3.1.3 SMOTE 过采样方法 10 3.1.4 综合采样 11 3.2 特征选择 15