基于MapReduce改进选择算法在云计算.pdfVIP

第３０卷第２期 计 算 机 应 用 研 究 Ｖｏｌ３０Ｎｏ２ ２０１３年２月　 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ｆｅｂ２０１３ 基于Ｍａｐ／Ｒｅｄｕｃｅ的改进选择算法在云计算的 Ｗｅｂ数据挖掘中的研究 １ ２ ２ 方少卿 ，周　剑 ，张明新 （１．铜陵职业技术学院，安徽 铜陵２４４０００；２．常熟理工学院，江苏 常熟２１５０００） 摘　要：针对目前在搜索方面的数据量大、搜索延迟的特点，提出了基于云计算的Ｗｅｂ挖掘的搜索模型。采用 提出的基于Ｍａｐ／Ｒｅｄｕｃｅ模型的改进型算法，通过仿真实验验证了该算法的可行性，在一定程度上减少了搜索的 代价，提高了搜索效率。 关键词：云计算；Ｗｅｂ数据挖掘；Ｍａｐ／Ｒｅｄｕｃｅ 中图分类号：ＴＰ３９１　　　文献标志码：Ａ　　　文章编号：１００１３６９５（２０１３）０２０３７７０３ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１３６９５．２０１３．０２．０１５ Ｒｅｓｅａｒｃｈｏｆｉｍｐｒｏｖｅｍｅｎｔｓｅｌｅｃｔｉｏｎａｌｇｏｒｉｔｈｍｉｎｃｌｏｕｄｃｏｍｐｕｔｉｎｇ ＷｅｂｄａｔａｍｉｎｉｎｇｂａｓｅｄｏｎＭａｐ／Ｒｅｄｕｃｅ １ ２ ２ ＦＡＮＧＳｈａｏｑｉｎｇ，ＺＨＯＵＪｉａｎ，ＺＨＡＮＧＭｉｎｇｘｉｎ （１．ＴｏｎｇｌｉｎｇＶｏｃａｔｉｏｎａｌＴｅｃｈｎｉｃａｌＣｏｌｌｅｇｅ，ＴｏｎｇｌｉｎｇＡｎｈｕｉ２４４０００，Ｃｈｉｎａ；２．ＣｈａｎｇｓｈｕＩｎｓｔｉｔｕｔｅｏｆＴｅｃｈｎｏｌｏｇｙ，ＣｈａｎｇｓｈｕＪｉａｎｇｓｕ２１５０００， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｆｏｒｔｈｅｃｕｒｒｅｎｔｄａｔａｉｎｔｈｅｓｅａｒｃｈｖｏｌｕｍｅ，ｓｅａｒｃｈｄｅｌａｙｃｈａｒａｃｔｅｒｉｓｔｉｃｓ，ｔｈｉｓｐａｐｅｒｐｒｅｓｅｎｔｅｄａＷｅｂｄａｔａｍｉｎｉｎｇ ｍｅｔｈｏｄｂａｓｅｄｏｎｃｌｏｕｄｃｏｍｐｕｔｉｎｇｓｅａｒｃｈｍｏｄｅｌ，ｕｓｉｎｇｔｈｅｔｈｒｅｅｓｅｌｅｃｔｉｏｎａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎＭａｐ／Ｒｅｄｕｃｅｍｏｄｅｌ．Ｔｈｅｓｉｍｕｌａ ｔｉｏｎｅｘｐｅｒｉｍｅｎｔｐｒｏｖｅｓｔｈｅｆｅａｓｉｂｉｌｉｔｙｏｆｔｈｅａｌｇｏｒｉｔｈｍ，ｉｔｒｅｄｕｃｅｓｔｈｅｓｅａｒｃｈｃｏｓｔ，ｉｍｐｒｏｖｅｓｔｈｅｅｆｆｉｃｉｅｎｃｙｏｆｓｅａｒｃｈｔｏａｃｅｒｔａｉｎ ｅｘｔｅｎｔ． Ｋｅｙｗｏｒｄｓ：ｃｌｏｕｄｃｏｍｐｕｔｉｎｇ；Ｗｅｂｄａｔａｍｉｎｉｎｇ；Ｍａｐ／Ｒｅｄｕｃｅ 归并分组；采用分类分析，可对用户行为特征进行归类识别；采 　引言 用频繁序列模式分析，可获取用户访问习惯。这些常用数据挖 掘方法获取的用户行为模式，解决了页面自动导航、页面重要 随着Ｉｎｔｅｒｎｅｔ技术的迅猛发展，互联网上数据的更新速度 性评价以及改进网站设计、提高网站运营效益等问题。由于 呈几何级的速度增长，越来越多的新移动的存储技术广泛应用 Ｉｎｔｅｒｎｅｔ本身分布广泛的特点，在Ｉｎｔｅｒｎｅｔ上产生的数据是海量 于网络平台上，如何发现有价值信息成为数据挖掘研究的热 的、分布的、异构的、动态的。这就造成了数据结构复杂