最有前途软件开发技术——搜索引擎技术.docVIP

最有前途的软件开发技术——搜索引擎技术 搜索技术发展及未来趋势 　　 　　 搜索技术仍不能满足需求 　　 Internet的迅速发展和广泛应用导致了网上信息爆炸性地增长。据权威机构统计，网上约有数十亿的网页，甚至有些专家宣称网页总数已达5500亿，这一数字仍然在不断地快速增长。因此，如何在庞大的Internet上获得有价值的信息已成为网民日益关注的问题。搜索技术的出现为网民从Internet上快速找到所需信息带来了福音。搜索引擎是一种用于帮助Internet用户查询信息的搜索工具，它以一定的策略在Internet中搜集、发现信息，对信息进行理解、提取、组织和处理，并为用户提供检索服务，从而起到信息导航的目的。 　　 1993年，Internet上出现了最早的Web浏览器Mosaic，次年Netscape推出了Navigator。浏览器的发展促使Web得到迅速推广，同时也推动了搜索引擎的发展。 　　早期的搜索引擎是把Internet中资源服务器的地址收集起来，由其提供资源的类型不同而分成不同的目录，再一层层地进行分类。人们要找自己想要的信息可按它们的分类一层层进入，就能最后到达目的地，找到自己想要的信息。这其实是最原始的方式，只适用于Internet信息并不多的时候。 　　随着Internet信息按几何式增长，出现了最早的真正意义上的搜索引擎——Lycos，它创建于1994年的春天，当时Michael Mauldin将John Leavitt的Spider程序接入到其索引程序中。随着Yahoo!的出现，搜索引擎的发展也进入了黄金时代，其性能也更加优越。 　　搜索服务提供者在研发搜索技术方面已经花费了大量的时间和精力，但是网民对于现有的搜索技术是否满意呢？ 　　2001年，Roper Starch的调查指出，36%的Internet用户一个星期花了超过2个小时时间在网上搜索；71%的用户在使用搜索引擎的时候遇到过麻烦；平均搜索12分钟以后发现搜索受挫；搜索受挫中46%都是因为链接错误；绝大部分(86%)的Internet用户感到应当出现更有效的、准确的信息搜索技术。 　　另一项由Keen所做的调查显示，人们平均每天有四个问题需要从外界获取答案；其中31%的人使用搜索引擎寻找答案；平均每周花费8.75个小时找寻答案；53.3%的时间花在从旁人那里获得答案，29%的时间花在亲戚朋友身上，24.3%的时间花在销售商那里；网上查找答案的，半数以上都不成功；他们每周将花费14.5美元以上，以获取正确的信息。 　　从这些调查数据中不难看出，目前的搜索引擎仍然存在不少的局限性。传统的搜索引擎技术有哪些局限性呢？主要有信息丢失、返回过多无用信息及信息无关等几方面的局限性。造成上述信息检索困难的原因的实质在于传统的搜索引擎对要检索的信息仅仅采用机械的关键词匹配来实现，缺乏知识处理能力和理解能力，也就是说搜索引擎无法处理在用户看来是非常普通的常识性知识，更不能处理随用户不同而变化的个性化知识、随地域不同而变化的区域性知识以及随领域不同而变化的专业性知识等等。 　　这使得网民仍然在期盼更完美的搜索技术的出现。网民需要搜索服务提供者研制更完美的搜索技术来满足更快、更准、更方便的查询需要。是的，这些正是搜索技术发展的最终目标：跟上Internet的发展速度，为网民提供更准确的查询结果。下面将就目前几大新兴技术在搜索技术中的应用做展望，以设想更具完美的搜索技术的未来。 自然语言理解技术 　　随着社会的日益信息化，人们越来越强烈地希望用自然语言同计算机交流。自然语言理解是计算机科学中一个引人入胜、富有挑战性的课题。从计算机科学，特别是从人工智能的观点看，自然语言理解的任务是建立一种计算机模型，这种计算机模型能够给出像人那样理解、分析并回答自然语言(即人们日常使用的各种通俗语言)的结果。 　　现在计算机的智能还远远没有达到能够像人一样理解自然语言的水平，而且在可预见的将来也难以达到这样的水平。因此，关于计算机对自然语言的理解一般是从实用的角度进行评判的。如果计算机实现了人机会话、机器翻译或自动文摘等语言信息处理功能，则认为计算机具备了自然语言的理解能力。 　　以自然语言理解技术为基础的新一代搜索引擎，我们称之为智能搜索引擎。由于它将信息检索从目前基于关键词层面提高到基于知识（或概念）层面，对知识有一定的理解与处理能力，能够实现分词技术、同义词技术、概念搜索、短语识别以及机器翻译技术等。因而这种搜索引擎具有信息服务的智能化、人性化特征，允许网民采用自然语言进行信息的检索，为他们提供更方便、更确切的搜索服务。 　　与传统的目录查询、关键词查询模式相比，自然语言查询的优势体现在:一是使网络交流更加人性化；二是使信息查询变得更加方便、快速和准确。现在，已