搜索引擎关键技术要领.pdfVIP

搜索引擎关键技术 陈超 2014年11月9日 目录 1、hadoop简介 2、搜索引擎简介 3、搜索引擎关键技术  搜索引擎爬虫  搜索引擎索引  搜索引擎检索排序 4、学习资源 5、动动手 认识搜索，从Google 开始 Google云存储与云计算架构 应用层 搜索 广告 地图 gmail Google+ …….. MapReduce Percolator Pregel MegaStore BigTable Google三驾 马车 Chubby Google文件系统（GFS ） 服务器集群 Hadoop简介 hadoop之父- Doug Cutting lucene搜索插件库 nutch可爬可搜 分布式处理软件框架 2005为 2000 解决存 储和计 算问题 Google GFS HDFS 两个核心 Hadoop Google MapReduce MapReduce 谁在用？facebook 、淘宝、360、京东…… Hadoop开源架构与Google系统对应关系图 应用层 Nutch Lucene pig Hive …… MapReduce Hbase （BigTable） Zookeeper （Chubby ） Hadoop HDFS （Google文件系统（GFS ）） 服务器集群 目录 1、hadoop简介 2、搜索引擎简介 3、搜索引擎关键技术  搜索引擎爬虫  搜索引擎索引  搜索引擎检索排序 4、学习资源 5、动动手 什么是搜索引擎 • 全国科学技术名词审定委员会—— “万维网环境中的 信息检索系统，包括目录服务和关键字检索两种服务 方式”。 • 百度百科—— “搜索引擎指根据一定的策略、运用特 定的计算机程序从互联网上搜集信息，在对信息进行 组织和处理后，为用户提供检索服务，将用户检索相 关的信息展示给用户的系统”。 • 维基百科—— “搜索引擎指自动从因特网搜集信息， 经过一定整理以后，提供给用户进行查询的系统。” • 综上可见，搜索引擎是一种从互联网上采集数据，并 将其进行存储、加工和重新组织后，向用户提供查询 和结果展示的信息检索系统。 搜索引擎分类 全文搜索引擎 垂直搜索引擎 元搜索引擎 门户搜索引擎