种新的两阶段抽样算法-计算机工程与科学.pdfVIP

维普资讯 CN43-1258／TP 计算机工程与科学 2007年第29卷第 7期 ISSN 1007—130X CA)MPUTERENGINEERING SCIENCE Vo1．29，No．7，2007 文章编号：1007-130X(2007)07-0064-03 一 种新的两阶段抽样算法 A New Two，_PhaseSamplingAlgorithm 马光志，张耀坤 M_A GImng-zhi。ZItANG Yao-kun (华中科技大学计算机科学与技术学院。湖北 武汉 430074) (SchoolofComputerScienceandTechnology，HuazhongUniversityofScienceandTechnology，Wuhan430074。China) 摘 要：两阶段抽样算法从海量数据集中抽取样本数据用于数据挖掘，当数据集规模过大时算法效率偏低，当数据集 规模过大且为稀疏数据集时抽样精度偏低。本文改进 了传统两阶段抽样算法，提 出新的抽样算法EAFAST，可 自适应地 调节算法参数，而且能充分利用历史信息进行启发式搜索。实验证明，EAFAST算法可同时提高算法效率和抽样精度，弥 补了传统算法的不足。 Abstract：Traditionaltwo-phasesamplingMgorithrnsextractthesma pledatausedonadtaminingfrom flhugeadtaset． Thealgorithm efficiencyislowerwhenthedatasetisoversized，andthesampleaccuracyislowerwhentheadtasetisan0一 versziedsparseone．Byimprovingthetraditiona ltwo-phasesma pling algorithms，thepaperpresentsflnew samplingalgo— rithmnamde E 。whichadjustsalgorithmprama etersadaptivelyandpedonnsheuristicsearchusing thehistoricalin formationfully．ExperimentsdemonstrateE canenhancetheefficiencyandsma pleaccuracysimultaneously，andthus rme deiestlleinsufficienciesoftraditionalalgorithms． 关键词：抽样；两阶段 ；频繁项 目集；剪枝；精度 Keywords．samplestwo-phase；frequnetitme set；trimsaccuracy 中图分类号：TP301．6 文献标识码：A 本 So[，性能优于常见的抽样算法，包括随机抽取样本的 1 引言 SRS算法 和基于概率统计理论的抽样算法[引。 但是 ，传统的两阶段抽样算法判别 “离群”数据的开销 数据挖掘是发现重要模式和有趣规则的过程，多遍扫 过大，随着数据集D规模的增大，算法的效率明显降低；当 描海量数据集是实现高效挖掘的主要障碍。为提高数据挖 D规模较大且频繁项集较少即