基于Viterbi算法网页分类排序动态爬虫策略.docVIP

基于Viterbi算法网页分类排序动态爬虫策略 　　摘 要：Viterbi算法是一种基于图的动态规划算法，用于解决最短路径问题。针对当前网站排序算法对网站排名存在忽略网站主题、新站点排名无法超越旧站点等问题，提出了一种改进算法。改进算法利用网站入链数量以及网站?热萦胫魈庀喙囟攘礁霾瘟浚?结合Viterbi算法思想，在逐层访问过程中选取综合条件最优的网站，优胜劣汰，形成Viterbi过程，提高分类网站排序的效率和准确性。实验验证了动态爬虫策略的有效性。 　　关键词：网页排名；爬虫策略；Viterbi算法 　　DOI：10.11907/rjdk.172674 　　中图分类号：TP312 　　文献标识码：A 文章编号：1672-7800（2018）004-0047-04 　　Abstract：Viterbi algorithm is a map-based dynamical programming algorithm for solving the problem of seeking the shortest route.In this paper，an improved algorithm has been proposed to solve the problems when topics are ignored in page rank and the fact that newer pages cannot defeat the elder pages in ranking.To improve the efficiency and accuracy of classified sites ranking，the new algorithm employs two parameters （link-quantity and relativity of site） by abandoning lower importance sites in drill-down process.The results of the test show that the dynamical strategy can apparently improve efficiency and accuracy of classified sites ranking. 　　Key Words：web page rank； crawling strategy； Viterbi algorithm 　　0 引言 　　随着互联网的飞速发展，网络信息资源急剧膨胀，信息高效、准确、全面采集成为热门的研究课题[1]。其中一个关键问题是如何高效获取分类主题网页排序信息，网络爬虫技术应运而生。互联网是一个以网页为结点、超链接为边的有向图，因此爬虫过程就可以抽象为对这个有向图的遍历过程[2]。爬虫分为两大类：普通爬虫与主题爬虫。PageRank算法[3]与Fish-Search算法[4]是与之对应的两种广泛应用的网页排序算法。 　　PageRank算法的核心是计算网页质量，通过计算网页被链接的次数，衡量一个网页的质量在整个互联网中的水平，从而根据质量大小找出互联网中受欢迎的网站。但是该算法忽略了网页的主体性，无法针对用户键入的主题获取相关主题的重要网站，并且还存在耗时长的缺点[5]。Fish-Search算法可以满足用户搜索相关主题信息的要求，但是只分析了子链接的文本相关程度，忽略网络链接结构信息，导致结果不准确[6]。 　　综合以上问题，本文采用基于Viterbi算法[7]的动态分析思想，利用网页入链数量和网页内容与主题相关度两个参量，在逐层访问的过程中选取综合条件最优的网站，优胜劣汰，形成Viterbi过程，将静态的网页评价转化为动态学习过程，提高收集分类主题网站综合重要性最高网页的效率和准确性、全面性。 　　1 网页分类排序动态爬虫策略模型 　　1.1 模型框架设计 　　动态网络爬虫流程如图1所示。 　　1.2 网页分类排序动态爬虫策略 　　在互联网中，任一分类主题条件下，一个网页的综合评价主要由两方面决定：入链数和主题相关度[8]。入链数代表网页在该主题互联网环境内的受欢迎程度，入链数越大表示越受欢迎，越容易被访问。主题相关度代表网页在该主题领域内的专业度，相关度越大表示越专业，在该领域越关注专业内容。本文中网页的综合评价公式如下： 　　其中，f是网页综合评价值；LV为网页链接价值；CV为网页内容价值；φ1与φ2分别为网页链接价值和网页内容价值的权值，设φ1=0.7，φ2=0.3。 　　1.2.1 网页链接价值与内容价值 　　网页链接价值计算公式如下： 　　其中，LN为网页入链数。首先获得网页的入链数，通过反余切函数对