基于Shark-SearchPageRank算法主题爬虫研究.pdfVIP

table{边框‑合并:崩塌;}table,th,td{边框:1px实线#000;}

基于Shark‑Search和PageRank算法的

爬虫研究

1，楼远生2

1河海大学计算机与信息学院，，2河海大学计算机与信息学院，，中

国623068926@,wise.lou@163.com

：针对Shark‑Search算法缺乏对网页全局性的考虑，本文利用PageRank算法计算

出URL的值以弥补这一不足，并提出了Shark‑PageRank算法。该算法采用锚文本、

锚文本附近的上下文以及网页值来衡量URL的价值。实验结果表明，新算法提高了

查询速度和准确率，且具有良好的稳定性和可扩展性。

：爬虫；Shark‑Search算法；PageRank算法；垂直

1引言

爬虫是构建垂直搜索引擎的关键，爬虫中的搜索算法直接影响搜索引擎的

率和精确率[1]。爬虫基于一系列算法，如网页内容和分析，过滤与默认无

关的，并将相关推入未爬取的URL队列中。然后，根据一定的策略选择一个