搜索引擎原理概述及其在星空黄页网站中应用.docVIP

搜索引擎原理概述及其在星空黄页网站中的应用 陈 哲 倪俊峰 引言 搜索引擎（Search Engine）已经成为大家在工作、学习、娱乐中不可或缺的神兵利器。通过使用搜索引擎，使得我们检索信息的能力获得了极大的提高，成本有效地降低。可以说，搜索引擎是现代的计算机技术，因特网技术与传统的索引理论相结合的成功典范。搜索引擎是在因特网普及的大背景下应运而生的，它出生伊始就带有浓烈的平民色彩，走出了象牙塔、实验室，走进了寻常巷、百姓家。最早搜索引擎应用于门户网站，获得了极大的成功，如今，它已广泛地应用于各行各业，以它为核心引发了所谓的搜索经济，成为大家关注的焦点。 本文对回顾了搜索引擎发展的简要历史、对它的分类和实现原理进行了分析，并介绍了国内一些主要搜索引擎的特点。星空黄页是中国电信黄页已有八年历史的提供全国企业信息的专业网站，随着数据量的快速增长，用户查询习惯的改变，对黄页网站的检索技术也提出了新的挑战。搜索引擎技术成为改造黄页网站的首选，本文也介绍了搜索引擎技术在黄页网站的应用情况。 1．搜索引擎的历史 曾有人说搜索引擎的鼻祖就是黄页，诞生于十九世纪末。因为黄页，在电话诞生后成为了以电话为主体的信息门户，而且黄页把有电话的企业分门别类，的确与现在的搜索引擎有异曲同工之妙。不过，这更多地是从这两者的形式和用途做的类比，事易时移，今天我们所谓的搜索引擎，是以计算机，网络，大信息量，自动化为特征的新型检索工具。 现在意义上的搜索引擎其实是在近十年的不断发展中逐步形成的，它建立在因特网和诸多计算机技术之上，所以很难把搜索引擎的缘起与哪个具体的产品对应起来。但是我们知道，在它逐步发展过程中，一些关键的产品成为了里程碑。 1993年10月Martijn Koster创建了ALIWEB(Martijn Koster Annouces the Availability of Aliweb)，它相当于Archie的HTTP版本。ALIWEB不使用网络搜寻Robot，如果网站主管们希望自己的网页被ALIWEB收录，需要自己提交每一个网页的简介索引信息，类似于后来大家熟知的Yahoo。1993年2月，6个Stanford(斯坦福)大学生的想法是分析字词关系，以对互联网上的大量信息作更有效的检索。这就是Excite。后来曾以概念搜索闻名。1994年1月，第一个既可搜索又可浏览的分类目录EINet Galaxy(Tradewave Galaxy)上线。除了网站搜索，它还支持Gopher和Telnet搜索。Lycos是搜索引擎史上又一个重要的进步。Carnegie Mellon University的Michael Mauldin将John Leavitt的spider程序接入到其索引程序中，创建了Lycos。除了相关性排序外，Lycos还提供了前缀匹配和字符相近限制，Lycos第一个在搜索结果中使用了网页自动摘要1998年10月之前，Google只是Stanford大学的一个小项目BackRub。1999年2月，Google完成了从Alpha版到Beta版的蜕变。Google在Pagerank、动态摘要、网页快照、DailyRefresh、多文档格式支持、地图股票词典寻人等集成搜索、多语言支持、用户界面等功能上的革新，象Altavista一样，再一次永远改变了搜索引擎的定义。 搜索引擎的分类分为：全文搜索引擎（FullText Search Engine）分类目录(Directory)全文搜索引擎一个叫网络机器人（Spider）或叫网络蜘蛛（crawlers）的软件，网络上的各种链接获取网页信息内容，按规则分析整理。Google、百度是比较典型的全文搜索引擎系统。　　分类目录则是通过人工的方式收集整理网站资料形成数据库的，比如雅虎中国以及国内的搜狐、新浪、网易分类目录。　　在使用上各有长短。全文搜索引擎因为依靠所以数据库的容量非常庞大，但是，它的查询结果往往不够准确；分类目录依靠人工收集和整理网站，能够提供更为准确的查询结果，但收集的内容却非常有限。　　这两类搜索引擎，还生了其它的搜索服务，主要有元搜索引擎(META Search Engine)。集成搜索引擎（All－in－One Search Page）。 第一代搜索引擎是依靠于人工分拣的分类目录搜索，以雅虎为标志；而第二代搜索引擎则是依靠于机器抓取，并建立在超链分析技术基础之上的网页搜索，以Google为代表，其信息量大、更新及时、但返回信息过多，可能有很多无关信息。而第三代搜索引擎则把智能化、人机交互等功能融入了主流。将自动分类技术、中文内容分析技术及区域识别技术应用到大型搜索引擎中，除了在信息检索速度、更新频率等基本技术指标方面处于领先地位外，它的网页相关检索、拼音纠错、模