基于Heritrix的内容搜索引擎系统.pdfVIP

第9卷 第4期 软 件 导 刊 VO1．9No．4 2010年 4月 SoftwareGuide Aor．2010 基于 Heritrix的内容搜索引擎系统 李 丹 ，顾保磊 (中国地质大学 计算机学院，湖北 武汉 430074) 摘 要：目前现有的搜索引擎主要依托单一关键字搜索，且搜 索内容重复率高，搜 索结果缺少加工整理。从文本信息 入手，致力于提 出一种集搜 索、内容分析、结果输 出的一体化搜索 系统。 关键词：Heritrix；xml；xslt；搜 索引擎 中图分类号：TP393．09 文献标识码 ：A 文章编号 ：1672—7800(2010)04—0129—01 抓取数据处理的主要实体，并采用Xsh作为信息查询 、显示样 0 引言 式定义的语言，通过Xpath对 xml文件数据进行添加 、删 除、查 询处理 用户在进行一个搜索项 目前 ，需要先进行搜索任务定 自从 1990年第一款互联 网文档搜索工具 Archie诞生至 义 ．定义的内容通过XML存档在客户本地 ，搜索的过程和所需 今．搜索引擎技术 日新月异 ．已经涉及到 自然语言处理 、人工智 要的时问根据需要搜索的内容和范围而定，整个搜索过程可以 能、排列组合、离散数学等多个研究领域。互联网上的网站数量 无人值守。搜索完成后 ，系统将 自动对搜索结果进行一系列的 也增长迅猛 ，各种新闻、博客文章充斥着互联网，重复信息 比比 本地化操作 ，自动构造便于人阅读的文章格式 ，并删除下载的 皆是。使用google、yahoo、baidu之类的搜索引擎进行搜索工作 ， 临时文件，从而完成一次处理过程。整个过程可以重复使用，这 常常会找到数万条搜索结果 。本文将基于Heritrix系统 ，探讨 种方式对于搜索系列文章同样适用。 如何通过为用户提供可定制 的组合搜索条件和可扩展 内容分 析模板 ，以及使用异步搜索方式 ，帮助用户获取经过整理的数 3 系统实现 据 ，避免用户重复搜索，提高用户工作效率 。 搜索条件设置模块 ：通常网页搜索引擎只能对文章实现基 1 Heritrix简介 于模糊关键字的搜索功能，这样的搜索结果不够精确。本软件 通过对文章标题 、发布时间段 、作者、内容分别设定搜索条件 ， 获取互联网信息的关键技术之一就是网络爬虫 ．又被称为 从而达到更加精确的定位。 Spider。Hefitrix就是一款 iava语言开发的，开源 的网络爬虫 ，目 网页内容抓取模块 ：将设定好的关键字输入 Heritrix，启动 前已发展到 1．80版本 。Heritfix被用来获取完整的、精确的、站 异步抓取过程。 点内容的深度复制，包括获取图像 以及其它非文本 内容 ，抓取