搜索引擎的研究与实现.ppt

搜索引擎的研究与实现Search engine ’s research and implement 毕业设计的意义 互联网的最大优点就是拥有海量的信息，而且每8个月就翻一倍，现今的网页数量已经超过10亿。要想在这浩如烟海的网络世界中快速、有效地搜索信息，就不能离开现代信息获取技术——搜索引擎 毕业设计的两个目标 研究www搜索引擎的系统结构，并重点对网络机器人、索引与搜索程序以及用于查询的Web服务器三个方面进行详细分析。 在这些研究的基础上利用Java TM相关技术和一些开源工具包实现一个简单的搜索引擎——新闻搜索引擎 搜索引擎的系统结构 网络机器人、索引与搜索程序、Web查询服务器 终端用户 Web服务器 索引数据库 网络机器人程序 什么是网络机器人 是一种功能强大的Web扫描程序。可以通过超连接来扫描所有Web页面 扫描页面流程如下图所示： 扫描页面 加入等待队列 加入运行队列 加入等待队列 发现URL 扫描结束 发现URL 循环 Jeff Heaton的Bot开发包 开放源代码的第三方开发包 用Java实现的网络机器人类库 提供了包括：解析HTTP、接受Form、分析Cookie、实现Spider等若干类 参考网址： 网络机器人的具体实现 首先构造Spider类，并实现IspiderReportable接口 然后通过覆盖回调函数来处理网页 具体代码如下：