基于JAVA的网络蜘蛛的设计与实现.pdfVIP

信息 科学 Ⅵ删裂 ●缀 基于：JAVA的网络蜘蛛的设计与实现 郑志材张晶 (肇庆工商职业技术学院计算机应用技术系广东肇庆526020) 【摘要】网络蜘蛛是现代搜索引擎获取网络信息的重要手段，直接影响到搜索引擎的查全率，SUN公司发布的JAVA在其网络程序设计方面有其突出的特色t设 计～个简单的网络蜘蛛并通过JAVA语言将其实现。 【关键词】JAVA嘲络蜘蛛搜索引擎 中图分类号：TP3文献标识码：A文章编号：1671--7597(2009)0720046--02 在当前信息科技发达的今天，对于大部分人来讲，获取信息的主要工 具就是搜索引擎。但是对于所有的搜索引擎来说，本文介绍的是将搜索引 列中没有URL，并且所有的下载线程都处于休眠状态，说明已经下载完了由 擎用f收集网页的重要工具——网络蜘蛛(Web Spider)。网络蜘蛛的主入口网址所引出的所有网络资源。这时网络蜘蛛会提示F载完成，并停止 要作用是搜集互联网的网页，我们也可以用他来定期收集某个网站的内 下载。 容，用来判断网站的发展。从网络蜘蛛的J=作原理来看，“网络蜘蛛”是 3．分析这些下载到本地的未分析过的网络资源(一般为html代 一个比较形象的名字，他是在互联网内，通过网页链接，从一个网页爬到 另一个网页进行网页搜集的工具。他工作通常是这样进行的：对于一个网 中。因此，我们需要将它保存在容最更大的存储空间中．这就是硬盘。 页，通过对这个网页的内容的分析。分析这个网页里面的链接。根据链接 4．将第3步获得的URL加入到F载队列中。并重新执行第2步。 进入另一个网页．再进行上面的操作，直到把这个网站的网页全部下载到 ：、在页面中囊行算法的设计 本地计算机。 页面间爬行算法的设计，其实就是网络蜘蛛遍历链接先后的爬行策 JAVA语言是SUN公司的开发平台，是一种优秀的网络编程语言， Java语言在此非常适合构建一个“蜘妹”程序，其内建了对HTTP协议的支 网络蜘蛛会先抓取起始网页中链接的所有网页，然后再选择其中的一个链 持，通过它可以传输大部分的网页信息；其还内建了一个HTML解析器，正 接网页，继续抓取在此嘲页中链接的所有嘲页。这是最常用的方式，因为 是这两个原因使Java语言成为本文构建“蜘蛛”程序的首选。下面介绍下 这个方法可以让网络蜘蛛并行处理，提高其抓取速度。深度优先是指嘲络 如何设计一个简单的网络蜘蛛并用JAVA实现。 蜘蛛会从起始页开始．～个链接一个链接跟踪F去，处理完这条线路之后 一、罔络■蛛的基本实现思想和实现步● 再转入下一个起始页，继续跟踪链接。这个方法有个优点是网络蜘蛛在设 计的时候比较容易。两种策略的区别，图2的说明会更加明确： 图2遍历算法图示 图l网络蜘蛛的工作流程 一般因为标准的网站构建尽量是贴近扁平式的，如果选用深度遍历算 网络蜘蛛的主要作用是从Internet上不停地F载网络资源。它的基本法每爬一层就要访问队列一次，数据访问次数多于广度遍历算法，在时间 实现思想就是通过一个或多个入u网址来获取更多的URL．然后通过对这些 复杂度尚处于劣势。并且网络蜘蛛也采用多线程方式实现，所以变了算法 URL所指向的网络资源下载并分析后，再获得这螳嘲络资源中包含的URL， 选用的是广度优先遍历更为合理。 以此类推，直到再没有可下的URL为止．下面是用程序实现网络蜘蛛的具体 三、鲁模块的设计与实现 步骤： 对于网络蜘蛛来说，实现网络蜘蛛的最重要的三个模块是HTML的解 1．指定一个(或多个)入口网址，并将这个网址加入到下载队列中 析、网页下载以及嘲页的遍历。 (这时下载队列中只有一个或多个入口网址)． (--