因特网信息的查找与下载.pptVIP

网络信息检索的方法 2.2.1 搜索引擎（Search Engine） 搜索引擎发展史 搜索引擎的分类 全文搜索引擎 　全文搜索引擎是名副其实的搜索引擎，国外代表有Google（ ），国内则有著名的百度（ ( ）搜索。它们从互联网提取各个网站的信息（以网页文字为主），建立起数据库，并能检索与用户查询条件相匹配的记录，按一定的排列顺序返回结果。 全文搜索引擎分类 根据搜索结果来源的不同，全文搜索引擎可分为两类，一类拥有自己的网页抓取、索引、检索系统（Indexer），有独立的“蜘蛛”（Spider）程序、或爬虫（Crawler）、或“机器人”（Robot）程序（这三种称法意义相同），能自建网页数据库，搜索结果直接从自身的数据库中调用，上面提到的Google和百度就属于此类；另一类则是租用其他搜索引擎的数据库，并按自定的格式排列搜索结果，如Lycos（民赞网）搜索引擎。 目录搜索引擎 也称分类搜索 将收取到的各个网站（网页）的信息按照目录分类，建立索引数据库供人们分类查找 代表网站：搜狐（） 、新浪（ ）、雅虎（）等 元搜索引擎 　元搜索引擎（META Search Engine）接受用户查询请求后，同时在多个搜索引擎上搜索，并将结果返回给用户。著名的元搜索引擎有InfoSpace(美国著名的元搜索引擎公司 ) 等，中文元搜索引擎中具代表性的是搜星、百度狗搜索引擎。 搜索技巧 1、可以通过查看搜索引擎的帮助信息或者专门研究网络搜索技巧的网站和网页，如中文搜索引擎指南（ ）、搜索引擎直通车（ ）等 2、使用权威网站，如查看天气预报利用中国天气网( )，查找硬件驱动，利用驱动之家( )等。 3、不要局限于一个搜索引擎。当搜索不到理想的结果时，试着用另外一个搜索引擎。还可以将目录检索与关键词检索相结合使用,效果会更好，效率会更高 。 搜索技巧 4、搜索关键词提炼：学会从复杂的搜索意图中提炼出最具代表性和指示性的关键词，是所有搜索技巧之母。 5、缩小搜索范围的简单方法就是添加搜索词。(在关键词中间留空格、-、+、and、or、not) 6、强制搜索的方法——加英文双引号，这一方法在查找名言警句或专有名词时显得格外有用。”一寸光阴一寸金”的作者。 7、每个搜索引擎都有自己的帮助系统，遇到困难，首先求助于帮助系统。 第三代搜索：网页搜索 它们都属于网页自动搜索引擎，有的还带有智能分析或FTP、P2P搜索功能 按工作方式划分 全文搜索引擎 目录索引类搜索引擎 元搜索引擎 全文搜索引擎 全文搜索引擎的工作原理 索引生成器 （网页数据库） 爬行器 （蜘蛛） 查询检索器 （用户查询） 因特网 搜索引擎至少由三部分组成： 爬行器（即机器人、蜘蛛等搜索程序） 索引生成器（即网页索引数据库） 查询检索器（即用户检索界面） 随着搜索引擎的发展，许多搜索引擎在此基础上增加特色功能。如百度增加了监控程序。 * 利用能够从互联网上自动收集网页的Spider系统程序，自动访问互联网，并沿着任何网页中的所有URL爬到其它网页，重复这过程，并把爬过的所有网页收集回来。 第一步：从互联网上抓取网页 因特网 第二步：建立索引数据库 由分析索引系统程序对收集回来的网页进行分析，提取相关网页信息（包括网页所在URL、编码类型、页面内容包含的关键词、关键词位置、生成时间、大小、与其它网页的链接关系等），根据一定的相关度算法进行大量复杂计算，得到每一个网页针对页面内容中及超链中每一个关键词的相关度（或重要性），然后用这些相关信息建立网页索引数据库。 搜索引擎的Spider一般要定期重新访问所有网页（各搜索引擎的周期不同，可能是几天、几周或几月，也可能对不同重要性的网页有不同的更新频率），更新网页索引数据库，以反映出网页内容的更新情况，增加新的网页信息，去除死链接，并根据网页内容和链接关系的变化重新排序。这样，网页的具体内容和变化情况就会反映到用户查询的结果中。 第三步：检索界面的建立 当用户输入关键词搜索后，由搜索系统程序从网页索引数据库中找到符合该关键词的所有相关网页。因为所有相关网页针对该关键词的相关度早已算好，所以只需按照现成的相关度数值排序，相关度越高，排名越靠前。 最后，由页面生成系统将搜索结果的链接地址和页面内容摘要等内容组织起来返回给用户。 每个搜索引擎都必须向用户提供一个良好的信息查询界面。 全文搜索引擎原理 从互联网上抓取网页→建立索引数据库→在索引数据库中搜索排序。 大多数搜索引擎并不真正搜索互联网，它搜索的实际上是预先整理好的网页索引数据库。 搜索引擎也不能真正理解网页上的内容，它只能机械的匹配网页上的文字。 全文搜索引擎的工作原理