数据挖掘中抽样技术的应用研究——方法改进及实证分析.pdfVIP

数据挖掘中抽样技术的应用研究 ——方法改进与实证分析 摘要 在统计学领域，抽样技术的研究已经相当成熟，但在数据挖掘领 域，抽样技术显然还没有得到它应有的地位。虽然有学者提出在超大 型的数据集上应用并行化算法或分块处理来提高数据挖掘的效率可 能比用抽样技术更有效，但在本文的实践过程中发现，对于中等数量 级(几万到几十万数量级)的数据集，抽样技术有着其他技术不可比 拟的优势一速度快，准确性高，易实现。毕竟，实际应用有别于科 学研究，对数据分析者来说，如何快速，简便而准确地获得挖掘结果 以辅助相关决策的制定才是最终目的，在挖掘实验室以外的地方布置 复杂的运算分析环境是得不偿失的。 为了进一步研究抽样技术在数据挖掘中应用的可行性，本文从理 论论证和实证研究两个方面展开。理论方面：对数据库中知识发现的 过程做出了全面而科学的定义；总结了现行的在数据挖掘领域中广泛 应用的抽样技术；归纳了数据挖掘中最重要的三种挖掘方法，并对当 前抽样技术与数据挖掘的结合情况做了系统的阐述；对抽样技术在数 据挖掘中的应用提出了两种新的方法——改进的静态抽样方法和改 进的动态抽样方法。实证方面：列举了基于抽样技术的数据挖掘方法 在金融、保险、零售、制造等各个行业的应用情况，并针对理论部分 提出的新方法用实际数据做了必要的检验，以比较所研究的抽样方法 在改进前后性能的变化情况。 本文主要创新工作如下： (1)提出且在实践中实现了改进的静态抽样算法，并提出了改进 的动态抽样算法的思想。 (2)将改进的抽样技术引入分类、关联、聚类三个挖掘任务中， 写出了相应的算法，并在数据挖掘软件上加以实现，对结果进行了分 析。 (3)提出了一种新的关联规则挖掘的评估方法，并实现了该评估 方法。 关键词： 静态抽样；动态抽样； 分类； 关联规则； 聚类； 性能评估 THE STUDYOF APPROVINGSAMPLING USEDINDAI’AMINNG AItEA：METHODS AND IMPROVINGEMPIRICAL STUDY ABSTRACT not have theiressential in Samplingtechniques pursued positions data realmaswellasthey’veinstatisticsinwhichasoneof mining got themost somescholars importantanalysismethods．Althoughput forwardthat andchunk wouldbeevenbetter parallelization algorithm than in datasets．But the we samplingsuper duringpracticeprocess foundthat havethe thatothermethods samplingtechniquesadvantages couldn’t w