基于Java的网络蜘蛛系统的设计与实现.kdh.pdfVIP

开发案例 基于Java 的网络蜘蛛系统的设计与实现 庄志蕾 ， 李 蓉 华南师范大学增城学院 广州 （ ， 511363 ） 摘 要： 讨论如何使用 实现抓取网络资源的网络蜘蛛 通过一个入口网址来扫描整个互联 Java 。 网的网址 并将这些扫描到的网址所指向的网络资源下载到本地 然后可以利用其他的 ， ， 分析工具对这些网络资源做进一步的分析。 关键词 网络蜘蛛 搜索引擎 ： ；Java ； 程序从用户输入处得到一个入口网址 程序将会 0 引 言 ， 从入口网址开始呈放射状获取网络资源 将网络资源 网络蜘蛛技术并不是一项十分高深的技术 但要 ， ， 下载到本地。 做一个强大的网络蜘蛛 却非易事 在目前磁盘容量 ， 。 已经不是瓶颈的时候 搜索引擎一直在扩大自己的网 ， 2 系统的具体实现 页数量 但搜索引擎不可能在搜索时实时去检查每个 。 2.1 系统总体结构图 网页 而是需要把网页先抓取下来 按照关键词建立 ， ， 好索引 每次搜索的结果都会直接从搜索引擎建立好 9 系统总体结构如图2 ： ， 索引的数据库中查找 然后把结果返回给访问者 因 ， 。  此一个优秀的搜索引擎 需要不断地优化网络蜘蛛的 ， 算法 提升其性能 本文介绍了一种使用 实现抓 ， 。 Java 取网络资源的网络蜘蛛。
      1 网络蜘蛛的运作 是建立在很多相关协议基础上的 而更 ， Internet 复杂的协议是建立在系统层协议之上。Web 就是建立  


   在 协议基础上 而 HTTP （Hypertext Transfer Protocol ） ， 又是建立在 协议之上 它同时也是一种 ， HTTP TCP/IP