基于Java的校园搜索器的研究和设计.pdfVIP

计算机科学2007Voi．34NQ．10(专刊) 基于Java的校园搜索器的研究和设计*) Net Basedon TheResearchand of Search Java DesignCampus Engine 王林涛周长胜史家俊 (北京机械工业学院计算机及自动化系 北京100085) 摘要针对通用搜索引擎提供的大学搜索服务的更新周期过长等缺陷，构建一个高校信息资源的专业搜索器．设 计了四个URL状态队列一等待队列、错误队列、无效队列和完成队列，保证只抓取有效链接内容，提高了抓取效率和 质量。测试运行结果表明该搜索器是一个高效、可靠的搜索器，实现了对校园网内的网页和ftp资源的搜索和实时更新． 关键词校园网，搜索引擎，搜索器 网作为其搜索范围，而校园网搜索引擎只提供校内 1 引言 信息的搜索服务，因此只有属于校园网的链接才称 中文搜索引擎是一个对互联网上的信息资源进 为有效(合法)链接。其次就是搜索层数不同，因为 行搜集整理，然后供用户查询的系统，包括四个子系 互联网中巨大的网页数量，又根据网页的信息质量 统，即搜索器、中文分词器、索引器和检索器[1]。其 与该网页在站内的层数成反比，所以通用的搜索器 工作原理如下：搜索器完成对所需资源如网页、ftp 一般要限定网站的抓取层数；而校园网中相对来说 资源的获取，中文分词器对其信息(网页内容，ftp资网页数量是有限的，校园网搜索引擎的搜索器要尽 源的绝对路径、文件名等)进行分词后，由索引器建 可能的穷尽抓取校园网中的所有网页，所以校园网 立索引项，检索器通过用户查询界面接收的查询信 搜索引擎的搜索器对抓取层数不加限定． 息，对索引库中的数据进行搜索、排序、输出并返回 3系统设计 给用户。 随着大学校园网建设的蓬勃发展，校内资源日 3．1系统流程与组件 渐丰富，随之而来的问题是如何在海量的信息中找 本系统用于自动采集校园网内的资源，基本工 到自己需要的资源。通用搜索引擎如百度、谷歌 作流程如下： (google)虽然都提供了大学搜索的服务来实现对部HTML部分： 分高校校园网范围内的网页搜索，但是其存在一些 步骤1：将初始URL加入等待队列； 问题，如更新周期过长等，因此，设计高校信息资源 步骤2：从等待队列取URL下载、解析，抽取该 的专业搜索引擎，对于高校信息资源的共享以及提 网页包含的所有URL和有效文本； 高信息资源的利用率就显得非常必要。 步骤3：对抽取到的URL进行过滤、消重，将有 效URL加入等待队列； 2搜索器 步骤4：对抽取到的有效文本，交由分词系统处 2．1搜索器的工作原理 理后建立索引数据库； 搜索器是一种专业化的机器人程序，专门设计 步骤5：如果等待队列中存在URL，跳入步骤 用来做基于内容的网页资源查找，自动完成对远程 2。 信息的获取[2]。其工作原理如下：搜索器程序从一 基于以上的工作流程，系统设计了以下组件完 个或几个预先给定的URL(统一资源定位器)开始成相应功能： 执行，获取页面内容后对其进行解析，得到其有效内 ·URL队列，包括四个队列，分别用来存储待 容和包含的有效链接，对解析得到的有效链接继续 处理URL，错误URL，无效URL和完成URL。 “爬行”执行获取、解析的操