统计学中对不平衡数据的处理方法分析.docxVIP

目录 TOC \o 1-3 \h \u 1引言 1 1.1研究的背景和意义 1 1.1.1研究背景 1 1.1.2研究意义 1 1.2国内外研究现状 1 1.2.1国内研究状况 1 1.2.2国外研究状况 2 1.2.3研究发展趋势 2 1.3研究思路及方法 3 1.3.1研究思路 3 1.3.2研究方法 3 2不平衡数据的概述 4 2.1相关概念界定 4 2.1.1不平衡数据 4 2.1.2数据挖掘 4 2.1.3统计学 4 2.2统计学与数据挖掘的关系 4 3不平衡数据处理方法发展现状 5 3.1不平衡数据处理方法数据层面的发展现状 5 3.2不平衡数据处理方法算法层面的发展现状 7 3.3不平衡数据处理方法评价指标层面的发展现状 12 4不平衡数据处理方法中存在的问题 16 4.1数据层面 16 4.2算法层面 16 4.3评价指标层面 16 5对策建议 17 5.1训练集重构 17 5.2分类方法的改进 17 5.3优化评估方法 17 6结论 19 参考文献 20 致谢 21 统计学中对不平衡数据的处理方法分析 摘要：统计学中的不平衡数据也称为数据偏斜，是指数据集中的某一类或多类样本数量远大于其他类的样本数量，出现样本类别极不均衡的状况，严重影响模型分类。模型分类准确度会因为不平衡数据而导致无法达到预期效果。机器学习过程中往往不能有效地识别不平衡数据中的小类样本，容易导致准确度降低甚至失效，因此，解决不平衡分类问题是机器学习的研究重点之一。本文对不平衡数据的分类方法进行了研究,不仅从数据方面和算法方面的方法经行分析，还将从评价指标方面进行分析，分别对目前存在的各种解决不平衡数据分类问题的方法进行介绍及比较。 关键词：不平衡数据；数据集；数据偏斜；分类方法 Analysis of the treatment of unbalanced data in Statistics Absrtact: Unbalanced data in statistics, also known as data skew, refers to the fact that the number of samples of one or more categories in the data set is far larger than that of other categories, resulting in extremely unbalanced sample categories, which seriously affects the model classification. The accuracy of model classification can not achieve the expected results because of unbalanced data. In the process of machine learning, it is often unable to effectively identify the small samples in the unbalanced data, which is easy to reduce the accuracy or even failure. Therefore, to solve the problem of unbalanced classification is one of the research focuses of machine learning. In this paper, the classification methods of unbalanced data are studied. Not only the methods of data and algorithm are analyzed, but also the evaluation indexes are analyzed. The existing methods to solve the problem of unbalanced data classification are introduced and compared. Key words: Unbalanced data;Date set;Date skew;classification method 1引言 1.1研究的背景和意义 1.1.1研究背景 怎么有效处理不平衡数据集是研究工作的重点，在平常生活中，数据类别不平衡十分常见。数据的不平衡问题一般指数据中某些类别