数据挖掘取样方法的衡量与选用研究.pdfVIP

第9卷 第4期 福建工程学院学报 V01．9No．4 2011年 8月 JournalofFujianUniversityofTechnology Aug．2011 doi：10．3969／j．issn．1672-4348．2011．04．011 数据挖掘取样方法的衡量与选用研究 胡文瑜，蔡文培 (福建工程学院 计算机与信息科学系，福建 福州 350108) 摘要：取样是一种通用有效的近似技术。在数据挖掘研究中，取样方法可显著减小所处理数据集的 规模 ，使得众多数据挖掘算法得 以应用到大规模数据集以及数据流数据上。文章在研究了统计学上 随机均匀取样方法误差统计和衡量方法的基础上，着重探讨和研究了适用于数据挖掘领域的取样方 法衡量标准以及影响取样方法选择的因素等问题 ，提出了能更好地评估取样质量，尤其是偏倚取样方 法取样质量的 “取样方法代表性”和 “取样偏差”等概念并进行了量化，最后对数据挖掘取样方法的衡 量标准和选用研究的后续工作与研究方向进行 了阐述。 关键词：数据挖掘；均匀取样 ；偏倚取样；取样偏差；取样代表性；衡量与选用 中图分类号 ：TP311．13 文献标识码 ：A 文章编号：1672—4348(2011)04—0351—06 Researchonmaesureandselectionofsamplingmethodsindatamining HuWenyu，CaiWenpei (ComputerandInformationScienceDepartment，FujianUniversiytofTechnoloyg，Fuzhou350108，China) Abstract：Samplingisausefulandefficientapproximationtechnique，which enableslotsofalgo— rithmstobeappliedtohugedatasetbydrma aticallyscalingdowndatasetfordatamininganddaat stream mining．Basedonreview oferrorstatisticsandmeasureofrandom uniform samplingteeh— niques，measureofsamplingmethodsindataminingandhtefactorstobeconsideredinselecting印一 propliatesamplingalgorihtmsofrdaat miningtaskwerediscussedandexplored．Thequantifyingof hte “represenattiveness”ofasampleand “sma pledeviation”wasconductedtomakeamoreappro— pliatemeasureofrbiasedsma plingmethods．Th edirectionoffartherresearchonmeasurenadselee— tionofsamplingtechniuqesofrdataminingmodelwasalsoindicated． Keywords：datamining；unifomr sma pling；biasedsma pling；sma pledeviation；representativeness ofasma ple；measurenadselection 小了所处理数据集的规模，使得众多数据挖掘算 引言 法得以应用到大规模数据集以及数据流数据上。 数据挖掘是在海量数据中提取隐含的、未知 由此，取样这种近似技术在数据挖掘、查询优化