网页爬虫系统的设计.pdfVIP

- Chi…nasc—ience—and—Techn—ologyR一一evie—w 网页爬虫系统的设计 曹海燕 (同济大学软件学院上海 200096) [摘 要]随着现代化社会的飞速发展，网上的巨大的信息量获取给用户带来了许多的麻烦 。由于工作和生活节奏的需求，人们需要更加高效便捷地使用搜 索引擎来帮助他们。网络信息的筛选和过滤便成为重要的一个环节，从而衍生出网络爬虫这一系统来为大家提高互联网信息获取的高效性和准确性。本文的目的 在于研究和探索如何提高搜索的效率以及在最短的时间内让用户获取到需要的信息。 [关键词]网络爬虫；搜索引擎 。提高效率 中图分类号：TP393 文献标识码 ：A 文章编号：1009—914X(2015)05—0226一Ol 1引育 个uvJ~ @表来检测的，如阻止进一步循环的相同的URL在链中出现的话则。 随着互联网的高速发展，网络上的信息量迅速增加，特别是近些年来，网络 必要的错误检测和异常处理在页面获取过程中是非常重要的，因为程序代码必 信息呈爆发式增长。有时候我们访问网页时，网页上出现太多的不必要的信息， 须能处理服务器的各种响应。 比如各种垃圾广告和植入信息。 (2)H竹 P协议 在互联网的发展中，用户体验 占据了至关重要的作用。正是由于每天都有 对于HTFP协议需要了解 ，Java中有个HTTPClient组件与url进行连接。 巨大的信息量通过互联网传递给我们，所以我们要通过工具对其进行筛选，对 3．2搜索策略模块设计 于我们所需要的信息，则可以借助关键字来获取我们所想要的信息。 启动了爬去网页的程序后，在Intemet中开始搜索网页，采用宽度优先算 从上个世纪九十年代开始，人们就已经开展和研究网络爬虫。爬虫这项技 法。这种搜索算法就是数据结构中的宽度优先算法，思路是这样的：最先获取指 术在现在 已经非常成熟了，同时它也是搜索引擎的重要组成成分。Nutch， 定的URL的网页，然后提取该网页中的所有URL，在一个个的去获取URL地 l丑rb ，Heritrix~是网络上很有名的开源爬虫。对于网络爬虫来说，网页搜索 址，如何没有的话，就结束这个遍历，同一个层次的网页上的URL链接遍历完 策略和网页分析策略都是很重要的部分 。 了后，就继续下一层。就这样一层层的进行处理，不过这样有可能导致一个无穷 现在对于大众来说，比较熟悉的爬虫引擎有雅虎、谷歌、百度等。这些搜索 的遍历，如果是一个环状图的话就可能变成一个死循环了。不过它的好处就是 引擎和本文所要研究的不一样 但是大概的原理在一定程度上是相似的。 能计算出网络中两个节点的最短路径，所以它经常被作为实现爬虫的最佳策 至可以说是垃圾信息，页面分析的爬虫技术就是基于此产生的，用来获取 略，又因为这个算法十分的容易实现，所以我们采用该算法来实现。 更有价值的信息。 33页面分析模块设计 2刚页爬虫系统的分析 通过爬虫搜索指定URL的内容进行分析，搜索下来的网页，进行URL处 2．1系统功能需求 理，网页正文，Xml，JavasciN脚本 ，Css文件提取 ，通过指定相应的规则来进行 网页爬虫系统的设计与实现需要考虑好系统的功能健全还要考虑好系统 分析 。 的的扩展和系统的性能，为了方便以后对系统进行重构，系统设计需要按照以 抓取网页的源码，然后去判断网页的编码，否则很大程度上会获取到乱码。 下的规则 ：