第6章 信息搜索.doc

第6章 信息搜索 众所周知，互联网的信息量非常大，如何在上千万个网站中找到自己所需要的信息是一个较为突出的问题，搜索引擎正是为了解决这一难题而产生的。通过搜索引擎来查找自己所需要的信息是比较快捷的方法。 6.1技能一 搜索引擎基础 6.1.1任务一 搜索引擎概述 1．搜索引擎的含义 搜索引擎(search engine)是指根据一定的策略、运用特定的计算机程序搜集互联网上的信息，在对信息进行组织和处理后，为用户提供检索服务的系统。 从使用者的角度看，搜索引擎提供一个包含搜索框的页面，在搜索框输入词语，通过浏览器提交给搜索引擎后，搜索引擎就会返回跟用户输入的内容相关的信息列表。 2．搜索引擎工作原理 （1）抓取网页 每个独立的搜索引擎都有自己的网页抓取程序（spider）。Spider顺着网页中的超链接，连续地抓取网页。由于互联网中超链接的应用很普遍，理论上，从一定范围的网页出发，就能搜集到绝大多数的网页。 （2）处理网页 搜索引擎抓到网页后，还要做大量的预处理工作，才能提供检索服务。其中，最重要的就是提取关键词，建立索引文件。其他还包括去除重复网页、分析超链接、计算网页的重要度。 （3）提供检索服务 用户输入关键词进行检索，搜索引擎从索引数据库中找到匹配该关键词的网页；为了用户便于判断，除了网页标题和URL外，还会提供一段来自网页的摘要以及其他信息。 拓展视野 搜索引擎的发展史 1990年，加拿大麦吉尔大学（University of McGill）计算机学院的师生开发出Archie。当时，万维网（World Wide Web）还没有出现，人们通过FTP来共享交流资源。Archie能定期搜集并分析FTP服务器上的文件名信息，提供查找分别在各个FTP主机中的文件。用户必须输入精确的文件名进行搜索，Archie告诉用户哪个FTP服务器能下载该文件。虽然Archie搜集的信息资源不是网页（HTML文件），但和搜索引擎的基本工作方式是一样的：自动搜集信息资源、建立索引、提供检索服务。所以，Archie被公认为现代搜索引擎的鼻祖。 1996年8月，sohu公司成立，制作中文网站分类目录，曾有“出门找地图，上网找搜狐”的美誉。随着互联网网站的急剧增加，这种人工编辑的分类目录已经不适应。sohu于2004年8月独立域名的搜索网站“搜狗”，自称“第三代搜索引擎”。 1998年两位斯坦福大学的博士生 Larry Page 和 Sergey Brin 在美国硅谷创立了 Google。以Google公司的奇客（Geek）文化氛围、不作恶（Don’t be evil）的理念，为Google赢得了极高的口碑和品牌美誉。2006年4月，Google宣布其中文名称“谷歌”，这是Google第一个在非英语国家起的名字。 2000年1月，两位北大校友，超链分析专利发明人、前Infoseek资深工程师李彦宏与好友徐勇（加州伯克利分校博士后）在北京中关村创立了百度（Baidu）公司。2001年10月22日正式发布Baidu搜索引擎，专注于中文搜索。2005年8月5日在纳斯达克上市，创下了5年以来美国股市上市新股当日涨幅最高纪录。 2005年6月，新浪正式推出自主研发的搜索引擎“爱问”。 3．搜索引擎分类 搜索引擎按其工作方式主要可分为三种，分别是全文搜索引擎、目录索引类搜索引擎和元搜索引擎。 　 （1）全文搜索引擎 　　全文搜索引擎是名副其实的搜索引擎，国外具代表性的有Google、Fast/AllTheWeb、AltaVista、Inktomi、Teoma、WiseNut等，国内著名的有百度（Baidu）。它们都是通过从互联网上提取的各个网站的信息（以网页文字为主）而建立的数据库中，检索与用户查询条件匹配的相关记录，然后按一定的排列顺序将结果返回给用户。 从搜索结果来源的角度，全文搜索引擎又可细分为两种，一种是拥有自己的检索程序（Indexer），俗称“蜘蛛”（Spider）程序或“机器人”（Robot）程序，并自建网页数据库，搜索结果直接从自身的数据库中调用，如上面提到的7家引擎；另一种则是租用其他引擎的数据库，并按自定的格式排列搜索结果，如Lycos引擎。 提示：蜘蛛程序Spider对网页数据的抓取是通过读取网页文本内容，并顺着页面中的链接层层深入，从而获得对全站内容的抓取。 （2）目录索引 　　目录索引虽然有搜索功能，但在严格意义上算不上是真正的搜索引擎，仅仅是按目录分类的网站链接列表而已。用户完全可以不用进行关键词（Keywords）查询，仅靠分类目录也可找到需要的信息。目录索引中最具代表性的莫过于Yahoo雅虎。其他著名的还有Open Directory Project（DMOZ）、LookSmart、About等。