第五章 因特网信息检索 1.pptVIP

搜索引擎 有人说，会搜索才叫会上网，搜索引擎在我们日常生活中的地位已是举足轻重。??? 你也许是个刚买了“猫”兴冲冲地要上网冲浪，也许已经在互联网上蛰伏了好几年，无论怎样，要想在浩如烟海的互联网信息中找到自己所需的信息，都需要一点点技巧。 本课内容 一、搜索引擎及其发展历史 二、搜索引擎的原理 三、搜索引擎的种类 四、搜索引擎的用法 五、常用搜索引擎指南 一、搜索引擎及其发展历史 一、什么是搜索引擎 ??? 搜索引擎（Search Engines）是一个对互联网上的信息资源进行搜集整理，然后供你查询的系统，它包括信息搜集、信息整理和用户查询三部分。 搜索引擎的主要任务是搜索其他网站上的信息，并将这些信息进行分类并建立索引，然后把索引的内容放到数据库中，当用户向搜索引擎提交搜索请求的时候，搜索引擎会从数据库中找出匹配的资料反馈给用户，用户再根据这些信息访问相应的网站，从而找到自己需要的资料。 二、搜索引擎发展史 ??? 1990年以前，没有任何人能搜索互联网。 1990年至今： Yahoo 、Google、北大天网、Baidu 北大天网 是国家九五重点科技攻关项目中文编码和分布式中英文信息发现的研究成果，由北大计算机系网络与分布式系统研究室开发，于1997年10月29日正式在CERNET上提供服务。2000年初成立天网搜索引擎新课题组，由国家973重点基础研究发展规划项目基金资助开发，收录网页约6000万，利用教育网优势，有强大的ftp搜索功能。 　　Baidu 2000年1月，超链分析专利发明人、前Infoseek资深工程师李彦宏与好友徐勇（加州伯克利分校博士）在北京中关村创立了百度（Baidu）公司。2001年8月发布B搜索引擎Beta版（此前Baidu只为其它门户网站搜狐新浪Tom等提供搜索引擎），2001年10月22日正式发布Baidu搜索引擎。Baidu虽然只提供中文搜索，但目前收录中文网页超过9000万，可能是最大的的中文数据库。Baidu搜索引擎的其它特色包括：网页快照、网页预览/预览全部网页、相关搜索词、错别字纠正提示、新闻搜索、Flash搜索、信息快递搜索。2002年3月闪电计划（Blitzen Project）开始后，技术升级明显加快。 二、搜索引擎的原理 搜索引擎并不真正搜索互联网，它搜索的实际上是预先整理好的网页索引数据库。　　真正意义上的搜索引擎，通常指的是收集了因特网上几千万到几十亿个网页并对网页中的每一个词（即关键词）进行索引，建立索引数据库的全文搜索引擎。当用户查找某个关键词的时候，所有在页面内容中包含了该关键词的网页都将作为搜索结果被搜出来。在经过复杂的算法进行排序后，这些结果将按照与搜索关键词的相关度高低，依次排列。 　现在的搜索引擎已普遍使用超链分析技术，除了分析索引网页本身的内容，还分析索引所有指向该网页的链接的URL、AnchorText、甚至链接周围的文字。所以，有时候，即使某个网页A中并没有某个词比如“信息与计算”，但如果有别的网页B用链接“信息与计算”指向这个网页A，那么用户搜索“信息与计算”时也能找到网页A。而且，如果有越多网页（C、D、E、F……）用名为“信息与计算”的链接指向这个网页A，或者给出这个链接的源网页（B、C、D、E、F……）越优秀，那么网页A在用户搜索“信息与计算”时也会被认为更相关，排序也会越靠前。 搜索引擎的原理，可以看做三步：从互联网上抓取网页→建立索引数据库→在索引数据库中搜索排序。　　 从互联网上抓取网页利用能够从互联网上自动收集网页的Spider系统程序，自动访问互联网，并沿着任何网页中的所有URL爬到其它网页，重复这过程，并把爬过的所有网页收集回来。 建立索引数据库由分析索引系统程序对收集回来的网页进行分析，提取相关网页信息（包括网页所在URL、编码类型、页面内容包含的关键词、关键词位置、生成时间、大小、与其它网页的链接关系等），根据一定的相关度算法进行大量复杂计算，得到每一个网页针对页面内容中及超链中每一个关键词的相关度（或重要性），然后用这些相关信息建立网页索引数据库。 在索引数据库中搜索排序当用户输入关键词搜索后，由搜索系统程序从网页索引数据库中找到符合该关键词的所有相关网页。因为所有相关网页针对该关键词的相关度早已算好，所以只需按照现成的相关度数值排序，相关度越高，排名越靠前。最后，由页面生成系统将搜索结果的链接地址和页面内容摘要等内容组织起来返回给用户。 搜索引擎的Spider一般要定期重新访问所有网页 互联网虽然只有一个，但各搜索引擎的能力和偏好不同，所以抓取的网页各不相同，排序算法也各不相同。互联网上有大量的内容，是搜索引擎无法抓取索引的，也是我们无法用搜索引擎搜索到的