基于hadoop的用户搜索行为分析①-计算机系统应用.pdfVIP

2015 年 第 24 卷 第 12 期 计 算 机 系 统 应 用 基于 Hadoop 的用户搜索行为分析① 宋芳琴 (绍兴职业技术学院, 绍兴 312000) 摘 要: 用户搜索网页行为的分析是目前信息搜索的研究的热点, 本文针对云计算中的并行计算搜索存在的检 索速度慢, 效率低等缺点提出了一种基于 Hadoop 海量用户搜索网页行为的方法, 该方法主要是在网页 PageRank 算法的基础上, 将用户影响因子, 时间向量和网页相关性因素加入到算法中, 使得改进后的 PageRank 算法得到 了提高, 进一步提高用户搜索网页行为的效率, 实验中通过使用优酷实验室中的查询日志分析证明了本文的算 法具有良好的效果, 并对云计算中的用户行为分析具有一定的指导意义. 关键词: Hadoop 用户搜索 行为分析 海量日志 PageRank 算法 Analyzing Users’ Searching Behavior Based on Hadoop SONG Fang-Qin (Shaoxing Vocational Technical College, Shaoxing 312000, China) Abstract: The analysis of users’ behavior of searching Webpages is the hotspot of current information searching. This paper focus on the weakness in the parallel calculation search of cloud calculation, like slow research speed, low efficiency and so on, a method based on Hadoop for mass users to search Webs is proposed, in which users’ impact factors, time vector and Web-related factors are added to the algorithm based on the PageRank algorithm so as to further improve the efficiency for users in searching Webs. Analysis of query log in Youku laboratory is used in the experiment to prove algorithm in this paper has good effect as well as some guiding significance for users’ behavior analysis in cloud computing. Key words:Hadoop; user searching; behavior analysis; massive log; PageRank algorithm 伴随着云计算概念的出现, 越来越多的信息通过 搜索引擎用户行为分析, 因此针对这个问题, 本文在 互联网进行共享和传播, 网络信息膨胀速度已经呈现 Hadoop 架构下 , 对海量网页信息进行搜索 , 在 指数级增长. 在此背景下, 云计算下的搜索引擎快速 PageRank 算法的基础上, 将用户影响因子, 时间向量 发展成为了人们获得信息的重要手段. 目前, 美国的 和网页相关性因素加入到算法中, 使得改进后的 斯坦福大学提出了 PageRank[1], IBM 提出