第二章搜索引擎工作原理.pptVIP

电子商务 第二章 搜索引擎工作原理 章节内容 搜索引擎发展历史 搜索引擎分类 搜索引擎工作原理 搜索引擎介绍 小结 2.1 搜索引擎发展历史 1990年第一个互联网上的搜索引擎出现Archie。搜索FTP服务器上的文件。 1993年 第一个web搜索引擎出现，只收集网址 1994年，infosedk创立（李彦宏），4月第一个全文搜索引擎WebCrawler推出。 1995年 域名注册。Yahoo公司成立，Excite搜索引擎正式上线。 1996年 Google创始人 Larry page研究项目（名字BackRub）开始， 1997年改名google 1998年overtrue正式开始出售搜索服务 1999年 Lycos停止自己的搜索技术。开始使用AllTheWeb数据。 2000年 google推出了Adwords。按显示付费，提供搜索广告服务。 2001年百度作为搜索引擎正式上线。 2002年google推出PPC，按点击付费。 2003年微软MSN开始研发自己的搜索引擎技术。 2005年百度上市 2006年微软推出广告系统（AdCenter）。 2009年微软live searche 改名为bing 2010yahoo 使用bing搜索数据。 搜索引擎介绍 一 个 搜 索引擎程序主要由搜索器、索引器.检索器和用户接口等四个部分组成，主要存储设备由页面存储器和存储桶两部分组成。 搜索器：爬虫 抓取 压缩 存储库 索引器：存储库提取网页信息，分析和分解，建立关键字索引，初步排序处理，存入存储桶，即硬件存储单元。 用户通过用户接口提交查询，检索器根据输入关键词，在索引器和存储桶进行查找，并且采用算法进行对结果的最终排序 2.2 搜索引擎分类 全文搜索引擎 目录搜索引擎 元搜索引擎 全文搜索引擎 全文检索是指计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时，检索程序就根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。这个过程类似于通过字典中的检索字表查字的过程。 最常用的全文搜索引擎有百度、谷歌（Google）等。与之相对应的是目录索引类搜索引擎。 全文检索的方法主要分为按字检索和按词检索两种。按字检索是指对于文章中的每一个字都建立索引，检索时将词分解为字的组合。对于各种不同的语言而言，字有不同的含义，比如英文中字与词实际上是合一的，而中文中字与词有很大分别。按词检索指对文章中的词，即语义单位建立索引，检索时按词检索，并且可以处理同义项等。英文等西方文字由于按照空白切分词，因此实现上与按字处理类似，添加同义处理也很容易。 采用的技术 搜索引擎面临大量的用户检索需求（几十~几千点击/秒），要求搜索引擎在检索程序的设计上要高效，尽可能的将大运算量的工作在索引建立时完成，使检索时的运算压力能够承受，一般的数据库查询技术无法实现全文搜索的时间要求，因此，目前全文搜索引擎通常使用倒排索引技术： 倒排索引（英语：Inverted index），也常被称为反向索引、置入档案或反向档案，是一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。它是文档检索系统中最常用的数据结构。 有两种不同的反向索引形式： 一条记录的水平反向索引（或者反向档案索引）包含每个引用单词的文档的列表。 一个单词的水平反向索引（或者完全反向索引）又包含每个单词在一个文档中的位置。[1] 后者的形式提供了更多的兼容性（比如短语搜索），但是需要更多的时间和空间来创建。 目录搜索引擎 目录搜索引擎是以人工方式或半自动方式搜集信息，由编辑员查看信息之后，人工形成信息摘要，并将信息置于事先确定的分类框架中。信息大多面向网站，提供目录浏览服务和直接检索服务。该类搜索引擎因为加入了人的智能，所以信息准确、导航质量高，缺点是需要人工介入、维护量大、信息量少、信息更新不及时。目录搜索引擎虽然有搜索功能，但严格意义上不能称为真正的搜索引擎，只是按目录分类的网站链接列表而已。用户完全可以按照分类目录找到所需要的信息 。 元搜索引擎 元搜索引擎就是通过一个统一的用户界面帮助用户在多个搜索引擎中选择和利用合适的(甚至是同时利用若干个)搜索引擎来实现检索操作，是对分布于网络的多种检索工具的全局控制机制。元搜索引擎就是通过一个统一的用户界面帮助用户在多个搜索引擎中选择和利用合适的(甚至是同时利用若干个)搜索引擎来实现检索操作，是对分布于网络的多种检索工具的全局控制机制。元搜索引擎由三部分组成，即：检索请求提交机制、检索接口代理机制、检索结果显示机制。“请求提交”负责实现用户“个性化”的检索设置要求，包括调用哪些搜索引擎、检索时间限制、结果数量限制等。“接口代理”负责