电子信息科学与技术毕业论文-数据流中概念漂移检测与分类方法研究.docVIP

数据流中概念漂移检测与分类方法研究 摘要 由于现有各种机器学习算法本质上都是基于一个静态学习环境而以尽量保证学习系统泛化能力为目标的一个寻优过程，概念漂移数据流分类给机器学习带来了巨大挑战。从数据流与概念漂移、概念漂移数据流分类研究的发展与趋势、概念漂移数据流分类的主要研究领域、概念漂移数据流分类研究的新动态四个方面展开了分析，并分析了当前概念漂移数据流分类算法存在的问题。 关键词：大数据；概念漂移；增量学习；适应学习；数据流 目 录  TOC \o 1-3 \h \z \u  HYPERLINK \l _Toc477355630 引言  PAGEREF _Toc477355630 \h 1  HYPERLINK \l _Toc477355631 1 数据流与概念漂移  PAGEREF _Toc477355631 \h 2  HYPERLINK \l _Toc477355632 2 概念漂移数据流分类研究的发展与趋势  PAGEREF _Toc477355632 \h 4  HYPERLINK \l _Toc477355633 3 概念漂移数据流分类的主要研究方法  PAGEREF _Toc477355633 \h 5  HYPERLINK \l _Toc477355634 3.1 概念漂移数据流学习器的构建  PAGEREF _Toc477355634 \h 5  HYPERLINK \l _Toc477355635 3.2 概念漂移数据流学习理论的研究  PAGEREF _Toc477355635 \h 7  HYPERLINK \l _Toc477355636 3.3 概念漂移的检测  PAGEREF _Toc477355636 \h 8  HYPERLINK \l _Toc477355637 3.4 概念漂移数据流分类研究使用的数据集  PAGEREF _Toc477355637 \h 9  HYPERLINK \l _Toc477355638 4 概念漂移数据流分类研究的新动态  PAGEREF _Toc477355638 \h 10  HYPERLINK \l _Toc477355639 4.1概念漂移数据流中的类别不平衡学习问题  PAGEREF _Toc477355639 \h 10  HYPERLINK \l _Toc477355640 4.2 概念漂移数据流中的概念重复学习问题  PAGEREF _Toc477355640 \h 11  HYPERLINK \l _Toc477355641 4.3 概念漂移数据流中的半监督学习与主动学习问题  PAGEREF _Toc477355641 \h 11  HYPERLINK \l _Toc477355642 5 存在的问题  PAGEREF _Toc477355642 \h 13  HYPERLINK \l _Toc477355643 6 结束语  PAGEREF _Toc477355643 \h 14  HYPERLINK \l _Toc477355644 参考文献  PAGEREF _Toc477355644 \h 15  PAGE \* MERGEFORMAT25 引言 在社会生产和生活实践中，有一类问题是数据所包含的概念[1]可能随时间而变化。自动化生产线上，相近原因的问题产品会连续出现，然后问题产品的特征也随之发生变化；商务活动中，顾客的购买兴趣随时间而变化；网络安全中，网络的访问模式随用户不同而变化；社交媒体上，用户的实际行为随其注册位置而变化。这些问题的共同特点是：不断产生的数据形成流；数据流没有终点；数据流中数据包含的概念随时可能产生变化。数据流中这种概念的变化在本文中被称为概念漂移[2]。概念漂移要求学习系统能尽早地检测到概念漂移，并对自身进行适应概念漂移的调整，以对不断到来的数据尽可能地正确判断。 概念漂移问题给机器学习带来了巨大的挑战。目前各种人工学习系统的构造算法在本质上都是基于一个静态学习环境而以尽量保证学习系统泛化能力为目标的一个寻优过程，所以现有各种机器学习算法本质上都不适应进行概念漂移数据流学习。这种不适应体现在：计算模型或者缺乏获取新知识的能力，或者不能保持原本学到的知识[3]。 自“概念漂移”(concept drift)在1986年由Schlimmer和Granger首次提出后[2]，国内外众多研究人员对概念漂移数据流分类展开了深入研究。Kuncheva[4]、Tsymbal[5]、王涛[6]、Zliobaite[7] 、Ho