[互联网]网络信息检索第二讲gcy.ppt

MIS研究生课 甘仞初 北京理工大学管理与经济学院 第2讲 网络搜索引擎Search engine 自20世纪90年代后期以来，我国互联网发展迅速，尤其是进入21世纪后，网上的中文信息量暴涨，网上用户急剧增加，为了有效地从Internet 网上获得所需信息，人们的注意力逐渐转向了网络搜索引擎。本讲将对几个比较著名的搜索引擎的功能及特点和部分网上免费资源作些介绍。 1、网络搜索引擎概述 据发表在《科学》杂志1999年7月的文章《web信息的可访问性》估计，全球目前的网页超过8亿，有效数据超过9t，并且仍以每4个月翻一番的速度增长。 Internet 网上的信息量之大、范围之广、用户之多都比以往任何时候表现的突出，然而如何从如此浩瀚的信息海洋中得到所需要的信息就显得更加重要。网络搜索引擎的出现从某种程度上解决了这个问题，它是目前比较有效的网上信息获取方法。 目前网上比较有影响的搜索工具中文的有：Google、北大天网、新浪(Sina)、雅虎(Yahoo)、搜狐(Sohu)、百度(Baidu)中文搜索、3721网络实名/智能搜索、Lycos搜索引擎、中华网搜索引擎、搜星搜索引擎、北极星搜索引擎等。英文的有：yahoo、AltaVista、Excite、Infoseek、lycos、Aol等。 1、网络搜索引擎概述 1、网络搜索引擎概述 1.2 搜索引擎的基本结构及工作原理 ?搜索引擎一般的工作过程是: 首先对互联网上的网页进行搜集，然后对搜集来的网页进行预处理，建立网页索引库，实时响应用户的查询请求，并对查找到的结果按某种规则进行排序后返回给用户。搜索引擎的重要功能是能够对互联网上的文本信息提供全文检索。 搜索引擎并不真正搜索互联网，它搜索的实际上是预先整理好的网页索引数据库。真正意义上的搜索引擎，通常指的是收集了因特网上几千万到几十亿个网页并对网页中的每一个词（即关键词）进行索引，建立索引数据库的全文搜索引擎。当用户查找某个关键词的时候，所有在页面内容中包含了该关键词的网页都将作为搜索结果被搜出来。在经过复杂的算法进行排序后，这些结果将按照与搜索关键词的相关度高低，依次排列。 1、网络搜索引擎概述 1.搜索器（Spider）　　搜索器的功能是在互联网中漫游，发现和搜集信息。它常常是一个计算机程序，日夜不停地运行。它要尽可能多、尽可能快地搜集各种类型的新信息，同时因为互联网上的信息更新很快，所以还要定期更新已经搜集过的旧信息，以避免死连接和无效连接。　　搜索器搜集的信息类型多种多样，包括html、xml、newsgroup文章、ftp文件、字处理文档、多媒体信息。　　搜索器的实现常常用分布式、并行计算技术，以提高信息发现和更新的速度。商业搜索引擎的信息发现可以达到每天几百万网页。 2.索引器　　索引器的功能是理解搜索器所搜索的信息，从中抽取出索引项，用于表示文档以及生成文档库的索引表。　　索引项有客观索引项和内容索引项两种：客观项与文档的语意内容无关，如作者名、url、更新时间、编码、长度、链接流行度（link popularity）等等；内容索引项是用来反映文档内容的，如关键词及其权重、短语、单字等等。内容索引项可以分为单索引项和多索引项（或称短语索引项）两种。单索引项对于英文来讲是英语单词，比较容易提取，因为单词之间有天然的分隔符（空格）；对于中文等连续书写的语言，必须进行词语的切分。 　3.检索器　　检索器的功能是根据用户的查询在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并实现某种用户相关性反馈机制。　　检索器常用的信息检索模型有集合理论模型、代数模型、概率模型和混合模型四种。可以查询到文本信息中的任意字词，无论出现在标题还是正文中。 　4.用户接口　　用户接口的作用是输入用户查询、显示查询结果、提供用户相关性反馈机制。主要的目的是方便用户使用搜索引擎，高效率、多方式地从搜索引擎中得到有效、及时的信息。用户接口的设计和实现使用人机交互的理论和方法，以充分适应人类的思维习惯。 　4.用户接口用户输入接口可以分为简单接口和复杂接口两种。 简单接口只提供用户输入查询串的文本框；复杂接口可以让用户对查询进行限制，如逻辑运算（与、或、非；+、-）、相近关系（相邻、near）、域名范围（如.edu、.com）、出现位置（如标题、内容）、信息时间、长度等等。目前一些公司和机构正在考虑制定查询选项的标准。 1、网络搜索引擎概述 1.3 搜索引擎的分类 1. 全文搜索引擎（Full Text Search Engine） 通过从互联网上提取的各个网站的信息（以网页文字为主