数据流特征选择略的研究.pdfVIP

数据流特征选择策略的研究 摘要 数据流特征选择策略的研究 摘 要 随着信息技术尤其是网络技术的发展，越来越多的应用领域，如网络监控、垃 圾邮件分类、传感器网络等，需要对其以每天数以百万Gbit增长的流数据进行实时 处理。由于流数据经常呈现高维性，包含着大量无关特征和冗余特征，当对其进行 直接处理时，有可能极大地影响学习算法的效率。利用属性相关性进行特征选择， 消除无关特征和冗余特征，可以提高挖掘算法的效率，改善精确性等学习性能。然 而，数据流的实时性、无限性以及概念漂移特点，也对传统的特征降维算法提出了 严峻的挑战。针对数据流的这些特点，寻找适合于数据流的数据结构，研究有效度 量属性相关性的方法对流数据进行降维，这已经成为目前数据流研究的…个热点。 首先，本文深入探讨了特征选择的相关技术，研究了现有的特征选择方法在属 性相关性度量方面存在的不足，结合流数据实时性，无限性、概念漂移的特点，提 出了一种基于拟合的数据流特征选择算法FSCR琅，该算法可以有效地消除流数据 ’ 中的冗余特征，提高了学习算法的性能。 其次，本文针对数据流实时性的要求，提出了采用并行计算进行数据流特征选 择的实施策略，传统的串行处理速度受限于单处理器的最大物理处理速度，而并行 计算可以通过多处理器联合在一定程度上克服这种处理瓶颈。本文采用管理者／工作 者模型，并在MPI环境下设计实现了两种通信策略的并行算法，实验表明，利用并 行计算可以有效地提高流数据特征选择的效率和速度。 最后，为了验证特征选择在实际虑用场景下的表现，本文将整个处理方法运用 到网络入侵检测中，对网络入侵检测系统叶l的数据进行住线分析处理，从而利用实 际的示例验证了特征选择算法的可行性和实用性。 综上所述，本文对数据流中特征选择技术的研究具有。‘定的现实意义，它不仪 能消除流数据I}】的冗余特征，减小空间需求，而且能够改善学习算法的性能，提高 数据挖掘的效率。另外，本文的示例验证也对相关的应用具有一定的参考价值。 关键词：数据流、概要数据结构、特征选择、并行计算 作 者：陈万松 指导教师：赵雷 Abstract TheResearchonFeatureSelectionforDataStream 啦 TheResearchonFeatureSelectionforDataStream Abstract Withthe ofinformation network development technology,especiallytechnology,more needto millions andmore dealwithreal—timedata by Gbit applications increasing perday, suchasnetwork networkandSOon．Thedatastream classification，sensor monitoring，spam affectsthe of when itis greatly effic