基于云计算的Pagerank算法的改进.pdfVIP

第４２卷 第１期 福州大学学报（自然科学版） Ｖｏｌ．４２Ｎｏ．１ ２０１４年２月 ＪｏｕｒｎａｌｏｆＦｕｚｈｏｕＵｎｉｖｅｒｓｉｔｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ） Ｆｅｂ．２０１４ ＤＯＩ：１０．７６３１／ｉｓｓｎ．１０００－２２４３．２０１４．０１．００４５ 文章编号：１０００－２２４３（２０１４）０１－００４５－０５ 基于云计算的Ｐａｇｅｒａｎｋ算法的改进 郑 晶 （福建江夏学院电子信息科学学院，福建 福州　３５０１０８） 摘要：针对Ｐａｇｅｒａｎｋ算法在Ｗｅｂ结构挖掘中存在的需要大量迭代的问题，提出一种新的方法．该方法通过对 原始Ｐａｇｅｒａｎｋ值的计算公式进行改进，降低了迭代次数．实验表明，在云计算环境下，新方法减少了网络通信 和访问ＨＤＦＳ的消耗，在时间花费上优于传统的Ｐａｇｅｒａｎｋ算法． 关键词：云计算；Ｗｅｂ结构挖掘；Ｐａｇｅｒａｎｋ；Ｍａｐｒｅｄｕｃｅ 中图分类号：ＴＰ３１１．１３　 文献标识码：Ａ ＡｎｉｍｐｒｏｖｅｄＰａｇｅｒａｎｋａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｃｌｏｕｄｃｏｍｐｕｔｉｎｇ ＺＨＥＮＧＪｉｎｇ （ＣｏｌｌｅｇｅｏｆＥｌｅｃｔｒｏｎｉｃＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ，Ｊｉａｎｇ－ｘｉａＵｎｉｖｅｒｓｉｔｙ，Ｆｕｚｈｏｕ，Ｆｕｊｉａｎ３５０１０８，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｗｉｔｈｔｈｅａｄｖｅｎｔｏｆｔｈｅｅｒａｏｆｃｌｏｕｄｃｏｍｐｕｔｉｎｇ，ｉｔｉｓａｎｅｗｉｍｐｏｒｔａｎｔｒｅｓｅａｒｃｈｔｏｐｉｃｔｏｄｉｓ ｃｕｓｓｔｈｅｐｒｏｂｌｅｍｏｆｔｈｅｗｅｂｍｉｎｉｎｇｂａｓｅｄｔｈｅｃｌｏｕｄｃｏｍｐｕｔｉｎｇ．Ａｎｅｗｍｅｔｈｏｄｉｓｐｒｏｐｏｓｅｄｔｏｓｏｌｖｅｔｈｅ ｌａｒｇｅｎｕｍｂｅｒｏｆｉｔｅｒａｔｉｏｎｓｐｒｏｂｌｅｍｓｉｎｔｈｅＷｅｂｓｔｒｕｃｔｕｒｅｍｉｎｉｎｇｆｏｒｔｈｅＰａｇｅｒａｎｋａｌｇｏｒｉｔｈｍ．Ｔｈｒｏｕｇｈ ｉｍｐｒｏｖｉｎｇｔｈｅｆｏｒｍｕｌａｏｆｔｈｅｏｒｉｇｉｎａｌｐａｇｅｒａｎｋｖａｌｕｅ，ｉｔｒｅｄｕｃｅｓｔｈｅｎｕｍｂｅｒｏｆｉｔｅｒａｔｉｏｎｓ．Ｔｈｅｅｘｐｅｒｉ ｍｅｎｔｓｓｈｏｗｔｈａｔｔｈｉｓｍｅｔｈｏｄｒｅｄｕｃｅｓｔｈｅｎｅｔｗｏｒｋｔｒａｆｆｉｃａｎｄｔｈｅｃｏｎｓｕｍｐｔｉｏｎｏｆａｃｃｅｓｓｉｎｇＨＤＦＳｉｎｔｈｅ ｃｌｏｕｄｃｏｍｐｕｔｉｎｇｅｎｖｉｒｏｍｅｎｔ，ａｎｄｉｔｉｓｓｕｐｅｒｉｏｒｔｏｔｈｅｏｒｉｇｉｎａｌＰａｇｅｒａｎｋａｌｇｏｒｉｔｈｍｉｎｔｈｅｔｉｍｅｃｏｎｓｕｍｐ ｔｉｏｎ． Ｋｅｙｗｏｒｄｓ：ｃｌｏｕｄｃｏｍｐｕｔｉｎｇ；Ｗｅｂｓｔｒｕｃｔｕｒｅｍｉｎｉｎｇ；Ｐａｇｅｒａｎｋ；Ｍａｐｒｅｄｕｃｅ ０　引言 随着Ｗｅｂ信息技术的发展，用户可以便捷地获取各种信息，但是也面临着如何从大量的Ｗｅｂ信息中 ［１］ 获取有用的信息的问题．１９９６年，ＣｈｅｎＭＳ 把数据挖掘方法引入到Ｗｅｂ领域，掀起了Ｗｅｂ数据挖掘研 ［２］ 究的热潮．１９９８年，Ｂｒｉｎ和Ｐａｇｅ 提出了Ｐａｇｅｒａｎｋ算法，该算法基于链接分析理论提出搜索引擎算法． 随后学者主要从以下两个方面进行深入研究： 主题漂移，即无法区分超链接网页与当前页面的主题相 ① ［３］ 关度，斯坦福大学的ＴａｔｈｅｒＨａｖｅｌｉｗａｌａ 提出的主题敏感算法（ｔｏｐｉｃ－ｓｅｎｓｉｔｉｖｅＰａｇｅｒａｎｋ，ＴＳＰＲ），华盛顿大 ［４］ 学的ＭａｔｔｈｅｗＲｉｃｈａｒｄｓｏｎ和ＰｅｄｒｏＤｏ