第12课搜索引擎.pdfVIP

第12章 搜索引擎 提供“普适性的数据分 析与服务”的搜索 引擎才能诠释出物 联网“更深入的智能化” 的内涵。 本章将介绍搜索引擎的 基本概念，体系结构和 相关技术。 内容提要 内容回顾 •第11章介绍了海量信息存储技术和数据中心 •物联网对海量数据存储的需求 •三种网络存储体系结构 •数据中心的基本概念以及典型的数据中心 •如何降低数据中心的成本 •本章重点介绍搜索引擎的基本概念，包括发展历程，体 系结构 （信息采集，索引技术，搜索服务），并针对一 个类Google Web搜索引擎进行简要分析。 本章内容 12.1 搜索引擎简介 12.2 搜索引擎体系结构 12.3 物联网搜索引擎 搜索引擎有哪些？有哪三大模块组成？ 12.1 搜索引擎简介 Web搜索引擎 一个能够在合理响应时间内，根据用户的查询关键词，返回一个包含 相关信息的结果列表 （hits list）服务的综合体。 传统的Web搜索引擎是基于查询关键词的，对于相同的关键词，会 得到相同的查询结果。 常见Web搜索引擎 搜索引擎的发展 •搜索引擎的起源可追溯到1992年， 由NCSA维护的“What’s NEW!” 页面。 •第一个原始搜索引擎W3Catalog （1993.9） •第一个Web机器人程序“World  Wide Web Wanderer ”（1993.6  MIT） •里程碑： WebCrawler （1994）， Lycos （1994）商用 •Google的建立：斯坦福博士生 Larry Page 和Sergey Brin 创立了 Google Web搜索引擎的结构 •网络爬虫模块：主要功能是通过对Web页面的解析，根据Web页面之间 的连接关系抓取这些页面，并储存页面信息交给索引模块处理。 •索引模块：主要完成对于抓取的数据进行预处理建立关键字索引以 便搜索模块输出。 •搜索模块：对于用户的关键词，根据数据库的索引知识给出合理的 搜索结果。 Web搜索引擎的工作模式 搜集Web页面 处理搜索结果 接受搜索服务 本章内容 12.1 搜索引擎简介 12.2 搜索引擎体系结构 12.3 物联网搜索引擎 搜索引擎具有怎样的体系结构和相关技术？ Web搜索引擎的3个重要问题 •响应时间：一般来说合理的响应时间在秒这个数量级 •关键词搜索：得到合理的匹配结果 •搜索结果排序：如何对海量的结果数据排序 搜索引擎的体系结构 信息采集 索引技术 搜索服务 体系结构：信息采集 搜索引擎体系结构 信息采集 Web搜索引擎的信息采集模块 索引技术 主要功能：Web上收集页面信息，即Web机器人 搜索服务 （爬虫）程序 基于超文本传输协议 （Hypertext Transfer  Protocol, 简称HTTP） 体系结构：信息采集