检索课课件陈网络.pptxVIP

第六章网络信息资源检索南京医科大学第一节 概述一、搜索引擎概述理解：真正意义上的搜索引擎，通常指的是收集了互联网上几千万到几十亿个网页，并对网页中的每一个文字(即关键词)进行索引，建立索引数据库的全文搜索引擎。当用户查找某个关键词的时候，所有在页面内容中包含了该关键词的网页，都将作为搜索结果被搜索出来。再经过复杂的算法进行排序后，这些结果将按照与搜索关键词的相关度高低，依次排列。第一节 概述 二、搜索引擎的工作原理，即搜索工作的过程：从互联网上抓取网页→建立索引数据库→在索引数据库中搜索排序。 1．从互联网上抓取网页 利用能够从互联网上自动收集网页的蜘蛛（Spider）系统程序，自动访问互联网，并沿着任何网页中的所有URL爬到其它网页，重复这过程，并把爬过的所有网页收集回来。 第一节 概述二、搜索引擎的工作原理 2、建立索引数据库 由分析索引系统程序对收集回来的网页进行分析，提取相关网页信息（包括网页所在URL、编码类型、页面内容包含的关键词、关键词位置、生成时间、大小、与其它网页的链接关系等），根据一定的相关度算法进行大量复杂计算，得到每一个网页针对页面内容中及超链中每一个关键词的相关度（或重要性），然后用这些相关信息建立网页索引数据库。 第一节 概述二、搜索引擎的工作原理 3、在索引数据库中搜索排序 当用户输入关键词搜索后，由搜索系统程序从网页索引数据库中找到符合该关键词的所有相关网页。因为所有相关网页针对该关键词的相关度已计算完成，所以只需按照现成的相关度数值排序，相关度越高，排名越靠前。 第一节 概述三、搜索引擎的组成 1．搜索器 其功能是负责在互联网中漫游，抓取网页信息的工作，将抓取的网页内容进行切词处理并自动进行标引，建立索引数据库。 2．索引器 其功能是理解搜索器所搜索到的信息，从中抽取出索引项，用于表示文档以及生成文档库的索引表。第一节 概述三、搜索引擎的组成 3．检索器 其功能是根据用户的查询在索引库中快速检索文档，进行相关度评价，对将要输出的结果排序，并能按用户的查询需求合理反馈信息。 4．用户接口 其作用是根据用户查询条件检索索引数据库并对检索结果进行排序和集合运算，如并集、交集运算，再提取网页简单摘要信息反馈给查询用户，同时提供个性化查询项。 第一节 概述三、搜索引擎的分类 1．全文搜索引擎 全文搜索引擎是名副其实的搜索引擎，国外具代表性的有Google、Fast/AllTheWeb、AltaVista、Inktomi、Teoma、WiseNut等，国内著名的有百度（Baidu）。它们都是通过从互联网上提取的各个网站的信息（以网页文字为主）而建立的数据库中，检索与用户查询条件匹配的相关记录，然后按一定的排列顺序将结果返回给用户，因此他们是真正的搜索引擎。 第一节 概述三、搜索引擎的分类2．目录索引 目录索引虽然有搜索功能，但在严格意义上算不上是真正的搜索引擎，仅仅是按目录分类的网站链接列表而已。用户完全可以不用进行关键词（Keywords）查询，仅靠分类目录也可找到需要的信息。目录索引中最具代表性的莫过于大名鼎鼎的Yahoo雅虎。其他著名的还有Open Directory Project（DMOZ）、LookSmart、About等。国内的搜狐、新浪、网易搜索也都属于这一类。 第一节 概述三、搜索引擎的分类 3．元搜索引擎 (META Search Engine) 元擎搜索引擎在接受用户查询请求时，同时在其他多个引擎上进行搜索，并将结果返回给用户。著名的元搜索引擎有InfoSpace()、Dogpile、Vivisimo等（元搜索引擎列表），中文元搜索引擎中具代表性的有搜星搜索引擎。在搜索结果排列方面，有的直接按来源引擎排列搜索结果，如Dogpile，有的则按自定的规则将结果重新排列组合，如Vivisimo等。 第二节 著名搜索引擎—Baidu(百度)一、概述1999年底，身在美国硅谷的李彦宏看到了中国互联网及中文搜索引擎服务的巨大发展潜力，抱着技术改变世界的梦想，他毅然辞掉硅谷的高薪工作，携搜索引擎专利技术，与徐勇一同回国，于2000年1月1日在中关村创建了百度公司。2001年8月发布B搜索引擎Beta版（此前Baidu只为其它门户网站搜狐新浪Tom等提供搜索引擎），2001年10月22日正式发布Baidu搜索引擎。第二节 著名搜索引擎—Baidu(百度)二、百度检索技巧1、布尔逻辑搜索 逻辑“与”，输入多个词语中间用空格隔开，可以获得更精确的搜索结果。 逻辑“或”的操作，使用“A|B”,使用“|”运算符可提高检索的全面性。 逻辑“非”的操作，如果想排除一些干扰项，可以使用“A -B”的格式来表达“非”操作。如搜索“中国 历史”，会看到很多和历史以及文化相关的结果，现在想一次性去掉文化类内