海量数据上基于抽样的模式挖掘研究-计算机科学与技术专业论文.docxVIP

万方数据 万方数据 Classified Index: TP315 U.D.C: 004.4 Dissertation for the Master Degree in Engineering RESEARCH ON PATTERN MINING BASED ON SAMPLING IN BIG DATA Candidate： Ai Jia Supervisor： Gao Hong Academic Degree Applied for： Master of Engineering Speciality： Computer Science and Technology Affiliation： School of Computer Science and Technology Date of Defence： June, 2014 Degree-Conferring-Institution： Harbin Institute of Technology 哈尔滨工业大学工程硕士 哈尔滨工业大学工程硕士学位论文 摘 要 随着云计算和移动互联网等概念越来越深入到普通人的生活当中，大数据 也随着变得越来越深入人心。在当今竞争激烈的商业战场上，谁能掌握破解大 数据的钥匙，谁就能在商业领域占得先机。然后，对于大数据算法的探索和研 究还远远无法满足人们想要从大量的信息中挖掘出有价值的知识的需求。因此， 针对于大数据的数据挖掘算法的研究极为重要。 频繁模式的挖掘是一个拥有大量研究群体的课题，同时也是非常有价值的 研究课题。在过去的 20 年中，各种各样的频繁模式挖掘算法存在，简而言之包 括三类，基于“候选集产生-测试”模式的 Apriori 算法及其扩展算法，基于 FP 树的模式增长模式的 FP-Growth 算法及扩展算法，垂直挖掘算法。然而，现 存的这些频繁模式挖掘算法存在的共同的短板，就是在数据量急剧增长的今天， 已经无法满足大数据量的挖掘需求，一个方面在内存上无法存储大数据量的信 息，另一个方面数据量的提升会快速提升算法的运行时间，无法满足人们的实 际要求。挖掘算法的效率依然有待提高，而针对大数据上的模式挖掘算法还很 少，探索大数据上的高效率的、有效的模式挖掘算法是有意义的。 本文改进了直接抽样算法，对抽样结果做验证更新处理，同时改进了两步 随机抽样过程，通过对概率阈值的控制来调节挖掘模式的长度，从而达到在不 明显增大时间复杂度的情况下显著提升其挖掘模式的有效性。通过只扫描一遍 数据库，挖掘有限条的频繁模式。不再局限于以往数据挖掘算法中对模式空间 中大于支持度阈值的频繁模式进行完整挖掘的思路，由此大大的提升了挖掘的 效率。该方法不再满足特定的支持度阈值。通过实验我们可以看到，增强的直 接抽样方法能够很好的改善算法的挖掘效果。 同时，我们提出了基于 Map-Reduce 的分布式的增强的两步随机抽样算法， 该算法通过 A-RES/A-ExpJ 算法来解决带权值的抽样问题（WAS 问题），解决了 在 Map-Reduce 框架下的抽样问题；通过 Lossy Counting 算法解决低频项集的 求解问题，用以方便模式的验证过程。如此，通过两个经典的算法，将算法很 好的移植到到 Map-Reduce 框架下面。一方面能够降低程序运行过程对内存的要 求和依赖；另一方面，程序运行时间上也会大幅降低。 关键词：模式挖掘；抽样；大数据；Map-Reduce I - Abstract With the concept of cloud computing and mobile Internet comes into the lives of ordinary people more and more deeply, the big data is also becoming increasingly popular. In todays competitive business battlefield, the one who can grasp the key to crack the big data will be the one who could be able to stay ahead in the business world. However, for the exploration and research on algorithms of the big data is unable to meet the peoples need to dig out a lot of valuable knowledge from the massive information. Therefore, the study of da