WEB数据搜索引擎技术探究.pdfVIP

维普资讯 2007年第6期 九江学院学报 (总第 143期) No，6，2007 JournalofjiujiangUniversity (SumNO143) WEB数据搜索引擎技术探究木 高光勇 戴春来 (九江学院信息科学与技术学院 江西九江 332005) 摘要：首先对web数据搜索引擎技术进行 了概述，在此基础上进一步阐述数据采集 过程、Robot的搜索策略、HTML解析器基本算法及数据检索模型，最后指 出目前搜索引 擎存在的问题，提出未来搜索引擎的发展方向。 关键词：搜索引擎；数据采集；数据检索 中图分类号：TP393．08 文献标识码：A 文章编号：1673—4580(2007)06—0012一 (o3) l Web数据搜索引擎概述 要建立一个全面的搜索引擎，必须对 、一n¨v进 搜索引擎通常通过robot下载 Intemet上的web 行系统而全面地遍历，这是由一个搜寻程序Robot 文档，进行过滤、分词、转换等处理工作。然后 来完成的。Robot模块利用http协议来读取 web页 对文档信息进行预处理和形式化描述，抽取特征 面并沿着 html页面中的超链接在WWW上 自动漫 并进行索引。文档的收集是web信息检索的基础， 游，同时按照用户的要求 自动访问WWW资源。在 文档的预处理为后续检索工作提供了保证。 上述的处理过程中可将 WWW抽象成一个有向图来 它主要包括如下三个过程 ： ． 处理，将每个页面看作图中的一个节点，将页面 (1)互联网中发现、搜集网页信息； 中的超链接看作图中的有向边。因此，可以使用 (2)对信息进行提取和组织建立索引数据库； 有向图的遍历算法：深度优先和广度优先来对 (3)由检索器根据用户输入的查询关键字， WWW进行遍历。 在索引库中快速检索出文档。进行文档与查询的 简单来讲，Robot模块从一个 url开始得到第 相关度评价，对将要输出的结果进行排序，并将 一 个页面po，然后从 po中提取所有的ud，并把 查询结果返回给用户。 它们加入到url队列。以后每次从队列中取出一个 url，并且重复上述的过程，所有取到的页面都提 用户接口 索引数据库 交给索引组织模块进行处理。上面只是简单地描 索引关键字 述了搜索程序的工作机制，在实际的设计中还要 用户查询 l l过滤数据库 考虑很多问题。一方面搜索程序必须能在 自己工 作的同时不对正在访问的web站点造成很重的负 信息过滤 担，另一方面它还要处理大量的数据，因此必须 全文数据库 考虑搜索策略和搜索引擎技术优化问题 J。 2．1．2Robot的搜索策略 搜索策略就是关于当Robot搜索到一个 HTML 文件以后，下一步应该转移到哪一个 HTML文件 图1 搜索引擎的基本组成