搜索引擎v技术方案.ppt

12.3 物联网搜索引擎 物联网时代搜索引擎的新思考 从智能物体角度思考搜索引擎与物体之间的关系，主动识别物体并提取有用信息。 从用户角度上的多模态信息利用，使查询结果更精确，更智能，更定制化。 本章小结 内容回顾 本章介绍了搜索引擎的发展历程，重点讨论了搜索引擎的体系结构（信息采集，索引技术，搜索服务），并提出了物联网背景下搜索引擎的新思考。 重点掌握 掌握Web搜索引擎的三大模块（网络爬虫模块，索引模块，搜索模块）的作用。 了解搜索引擎需要解决的三个问题（响应时间，关键词搜索，搜索结果排序）。 本章小结 重点掌握（续） 掌握搜索引擎信息采集的基本流程以及网络爬虫程序的基本结构和工作流程。 理解优化网络爬虫程序的途径。掌握常见的网页抓取算法的特点和流程。 了解索引技术预处理的困难，了解倒排文件模型。 举例说明Google Web搜索引擎的架构。 Thank you! 第12章 搜索引擎 内容提要 提供“普适性的数据分析与服务”的搜索引擎才能诠释出物联网“更深入的智能化”的内涵。 本章将介绍搜索引擎的基本概念，体系结构和相关技术。 第11章介绍了海量信息存储技术和数据中心 物联网对海量数据存储的需求 三种网络存储体系结构 数据中心的基本概念以及典型的数据中心 如何降低数据中心的成本 本章重点介绍搜索引擎的基本概念，包括发展历程，体系结构（信息采集，索引技术，搜索服务），并针对一个类Google Web搜索引擎进行简要分析。 内容回顾 12.1 搜索引擎简介 12.2 搜索引擎体系结构 12.3 物联网搜索引擎 搜索引擎有哪些？有哪三大模块组成？ 本章内容 12.1 搜索引擎简介 Web搜索引擎 一个能够在合理响应时间内，根据用户的查询关键词，返回一个包含相关信息的结果列表（hits list）服务的综合体。 传统的Web搜索引擎是基于查询关键词的，对于相同的关键词，会得到相同的查询结果。 常见Web搜索引擎 搜索引擎的发展 搜索引擎的起源可追溯到1992年，由NCSA维护的“What’s NEW!”页面。 第一个原始搜索引擎W3Catalog（1993.9） 第一个Web机器人程序“World Wide Web Wanderer”（1993.6 MIT） 里程碑： WebCrawler（1994），Lycos（1994）商用 Google的建立：斯坦福博士生Larry Page 和 Sergey Brin 创立了Google 网络爬虫模块：主要功能是通过对Web页面的解析，根据Web页面之间的连接关系抓取这些页面，并储存页面信息交给索引模块处理。 索引模块：主要完成对于抓取的数据进行预处理建立关键字索引以便搜索模块输出。 搜索模块：对于用户的关键词，根据数据库的索引知识给出合理的搜索结果。 Web搜索引擎的结构 Web搜索引擎的工作模式 12.1 搜索引擎简介 12.2 搜索引擎体系结构 12.3 物联网搜索引擎 搜索引擎具有怎样的体系结构和相关技术？ 本章内容 Web搜索引擎的3个重要问题 响应时间：一般来说合理的响应时间在秒这个数量级 关键词搜索：得到合理的匹配结果 搜索结果排序：如何对海量的结果数据排序 搜索引擎的体系结构 信息采集 索引技术 搜索服务 体系结构：信息采集 搜索引擎体系结构 信息采集 索引技术 搜索服务 Web搜索引擎的信息采集模块 主要功能：Web上收集页面信息，即Web机器人（爬虫）程序 基于超文本传输协议（Hypertext Transfer Protocol, 简称HTTP） 体系结构：信息采集 搜索引擎体系结构 信息采集 索引技术 搜索服务 典型的基于超文本传输协议的网络应答 网络爬虫程序的工作模式 搜索引擎体系结构 信息采集 索引技术 搜索服务 网络爬虫程序根据HTTP协议，发送请求，并通过TCP连接接受服务器的应答。 由于Web搜索引擎需要抓取数以亿计的页面，所以建立快速分布式的网络爬虫程序才能满足搜索引擎对性能和服务的要求，其物理实现可能是一组终端。 网络爬虫程序的工作模式 搜索引擎体系结构 信息采集 索引技术 搜索服务 爬虫程序物理设备架构图 网络爬虫程序的基础结构 搜索引擎体系结构 信息采集 索引技术 搜索服务 网络爬虫程序的基础结构 搜索引擎体系结构 信息采集 索引技术 搜索服务 首先网络爬虫程序从URL链接库读取一个或多个URL作为初始输入并进行域名解析 然后根据域名解析结果（IP）访问Web服务器，建立TCP连接，发送请求，接受应答，储存接受数据，并分析提取链接信息（URL）放入URL连接库里。 爬虫程序递归执行该过程直到URL链接库为空。 信息采集优化 搜索引擎体系结构 信息采集 索引技术 搜索服务 网络连接优化策略 持久性连接 多进程并