基于概率模型的主题爬虫的研究和实现.pdfVIP

CN43—1258／TP 计算机工程与科学 第 35卷第 1期 2013年 1月 ISSN 1OO7—130X ComputerEngineering8LScience Vo1．35。No．1，Jan．2013 文章编号 ：1007—130X(2013)01—0160—06 基于概率模型的主题爬虫的研究和实现 白玉昭，梁久祯 (江南大学物联网工程学院，江苏 无锡 214122) 摘 要 ：在现有多种主题爬虫的基础上，提 出了一种基于概率模型的主题爬虫。它综合抓取过程中获 得的多方面的特征信息来进行分析 ，并运用概率模型计算每个 URL的优先值 ，从而对 URL进行过滤和 排序 。基于概率模型的主题爬虫解决了大多数爬虫抓取策略单一这个缺陷，它与以往主题爬虫的不同之 处是除了使用主题相关度评价指标外 ，还使用了历史评价指标和 网页质量评价指标 ，较好地解决了 “主题 漂移”和 “隧道 穿越”问题 ，同时保证 了资源的质量。最后通过多组实验验证 了其在主题网页召回率和平均 主题相关度上的优越性 。 关键词 ：主题爬虫；概率模型 ；URL过滤；URL排序 ；优先值 中图分类号 ：TP393 文献标志码 ：A doi：10．3969／j．issn．1007—13OX．2013．01．027 Research andimplementationforfocused crawlerbasedonprobabilisticmodel BAIYu—zhao。LIANGJiu-zhen (SchoolofInternetofThingsEngineering，JiangnanUniversity，Wuxi214122，China) Abstract：Basedonthestudyandresearchoftheexistingvarietyoffocusedcrawlers，thepaperpro— posesa focused crawler usingprobabilisticmodel，which analyzesvariouscharacteristicsobtained in crawlprocessandusesprobabilisticmodeltocalculateeachURL prioritySOastofilterandsortURLs． Theproposed focused crawlerbasedon probabilisticmodelsolvesthe deficiency thatmostexisting crawlersusuallyonlyadoptasinglestrategyforfetchingwebsfrom Internet．Thedistinctfeatureofour focusedcrawleristhat：notonlysubjectrelativitybutalsohistoryevaluationandwebequalityarecon— sideredSOthatthe “topicdrift”and “tunneling’’problemsaresolvedaswellastheresourceequalityis guaranteed．Experimentalresultsshow that，comparedwithotherfocusedcrawlers，thefocusedcrawler basedonprobabilisticpredictioncangathermoresubjectrelevantwebpagesbyretrievinglesswebpa— ges，andhasabetteraveragetopicrelevantdegree． Keywords：focusedcrawler；probabilisticmodel；URL filtering；URL ordering；priorityvalue