网络迅猛增长使得搜索引擎面临了前所未有挑战.pdfVIP

摘要 WWW 网络的迅猛增长使得搜索引擎面临了前所未有的挑战，搜索引擎如何 适应这种规模的急剧膨胀，成为一个备受关注的问题。面向主题搜索引擎可以有 选择性的抓取与主题相关的网页。选取的对象是一个或一组事先预定义的主题， 其特征由样本网页标志，而不是关键词。一般性的搜索引擎总是抓取尽量多的网 页以满足所有可能的查询请求；而主题搜索被设计为只抓取与选定主题相关的网 页。这不仅能够大大减少系统对硬件和网络资源的需求，而且还有助于提高抓取 的准确率和搜索结果的更新速度。 本文首先对比通用搜索引擎与主题搜索引擎的区别，总结主题搜索引擎的优 点；然后介绍目前世界上主题搜索引擎技术的发展状况。接着，综述了面向主题 中文搜索引擎的设计，详细介绍涉及该领域的三个核心技术：文档分类技术、中 文处理技术和网页搜集预测技术。对于以上三种技术，我们在简述已知算法的基 础上，都阐述了具体系统的实现方案。其中中文切词问题作为工作的重点，在文 章中有比较详尽的介绍，包括中文处理的背景知识，中文切词软件的基本原理和 中文切词词典的改进。 关键词：www 、通用搜索引擎、面向主题搜索引擎、文档分类算法、网页搜 集预测算法、中文切词 １