搜索引擎的工作机制_章森.pdfVIP

计算机世界/2006 年/6 月/12 日/第B12 版 技术专题 搜索引擎是一种依靠技术取胜的产品,搜索引擎的各个组成部分,包括页面搜 集器、索引器、检索器等,都是搜索引擎产品提供商进行比拼的着力点。 搜索引擎的工作机制 章森 王伟 近几年，搜索引擎的商业化取得了巨大的成功，如著名搜索引擎公司 Google、Yahoo （本文 中提到Yahoo 时，特指英文Yahoo ）、百度等纷纷成功上市，引发了众多公司涉足于该领域，带动 了人力、资本的大量投入，连软件巨人 Microsoft 公司也禁不住诱惑积极打造自己的搜索引擎。 但是，从性能上来说，目前的搜索引擎还不尽如人意，搜索返回的结果往往与用户的检索要求相 去甚远，有效性还不是很高。本文将对搜索引擎的工作原理及其实现技术进行分析，从中可以了 解限制搜索引擎用户体验改善的因素到底有哪些。 搜索引擎的工作过程 大型互联网搜索引擎的数据中心一般运行数千台甚至数十万台计算机，而且每天向计算机集 群里添加数十台机器，以保持与网络发展的同步。搜集机器自动搜集网页信息，平均速度每秒数 十个网页，检索机器则提供容错的可缩放的体系架构以应对每天数千万甚至数亿的用户查询请 求。企业搜索引擎可根据不同的应用规模，从单台计算机到计算机集群都可以进行部署。 搜索引擎一般的工作过程是: 首先对互联网上的网页进行搜集，然后对搜集来的网页进行预 处理，建立网页索引库，实时响应用户的查询请求，并对查找到的结果按某种规则进行排序后返 回给用户。搜索引擎的重要功能是能够对互联网上的文本信息提供全文检索。 搜索引擎通过客户端程序接收来自用户的检索请求，现在最常见的客户端程序就是浏览器， 实际上它也可以是一个用户开发的简单得多的网络应用程序。用户输入的检索请求一般是关键词 或者是用逻辑符号连接的多个关键词，搜索服务器根据系统关键词字典，把搜索关键词转化为 wordID ，然后在标引库（倒排文件）中得到 docID 列表，对 docID 列表中的对象进行扫描并与 wordID 进行匹配，提取满足条件的网页，然后计算网页和关键词的相关度，并根据相关度的数值 将前K 篇结果(不同的搜索引擎每页的搜索结果数不同)返回给用户，其处理流程如图1 所示。 图2 描述了一般搜索引擎的系统架构，其中包括页面搜集器、索引器、检索器、索引文件等 部分，下面对其中的主要部分的功能实现进行了介绍。 搜集器 搜集器的功能是在互联网中漫游，发现并搜集信息，它搜集的信息类型多种多样，包括HTML 页面、XML 文档、Newsgroup 文章、FTP 文件、字处理文档、多媒体信息等。搜索器是一个计算 机程序，其实现常常采用分布式和并行处理技术，以提高信息发现和更新的效率。商业搜索引擎 的搜集器每天可以搜集几百万甚至更多的网页。搜索器一般要不停地运行，要尽可能多、尽可能 快地搜集互联网上的各种类型的新信息。因为互联网上的信息更新很快，所以还要定期更新已经 搜集过的旧信息，以避免死链接和无效链接。另外，因为Web 信息是动态变化的，因此搜集器、 分析器和索引器要定期更新数据库，更新周期通常约为几周甚至几个月。索引数据库越大，更新 也越困难。 互联网上的信息太多，即使功能强大的搜集器也不可能搜集互联网上的全部信息。因此，搜 集器采用一定的搜索策略对互联网进行遍历并下载文档，例如，一般采用以宽度优先搜索策略为 主、线性搜索策略为辅的搜索策略。 第1 页 共7 页 在搜集器实现时，系统中维护一个超链队列，或者堆栈，其中包含一些起始URL ，搜集器从 这些 URL 出发，下载相应的页面，并从中抽取出新的超链加入到队列或者堆栈中，上述过程不 断重复队列直到堆栈为空。为提高效率，搜索引擎将 Web 空间按照域名、IP 地址或国家域名进 行划分，使用多个搜集器并行工作，让每个搜索器负责一个子空间的搜索。为了便于将来扩展服 务，搜集器应能改变搜索范围。 1.线性搜集策略 线形搜索策略的基本思想是从一个起始的IP 地址出发，按IP 地址递增的方式搜索后续的每 一个IP 地址中的信息，完全不考虑各站点的HTML 文件中指向其他Web 站点的