第八章 搜索引擎核心技术解密.pdfVIP

技术成就梦想 搜索引擎核心技术解密 经过十几年的发展，搜索引擎已经成为互联网的重要入口之一，全球互联网上访问量最大的 十个网站之一Twitter 联合创始人埃文.威廉姆斯提出了“域名已死轮”：好记的域名不再重 要，因为人们会通过搜索进入网站。搜索引擎的排名对于中小网站流量来说至关重要了，了 解搜索引擎简单界面背后的技术原理其实对很多人都很重要 授课对象： 一、对搜索引擎核心算法有兴趣的技术人员 1、搜索引擎的整体框架是怎样的？包含哪些核心技术？ 2、网络爬虫的基本架构师什么？常见的爬取策略是什么？什么是暗网爬取？如何构建分布 式爬虫？百度的阿拉丁计划是3、什么是倒排索引？如何对倒排索引进行数据压缩？ 4、搜索引擎如何对搜索结果排序? 5、什么是向量空间模型？什么是概率模型？什么是BM25 模型？什么是机器学习排序？它们 之间有何异同？ 6、PageRank 和HITS 算法是什么关系？有何异同？SALSA 算法是什么？Hilltop 算法又是什 么？各种链接分析算法之间是什么关系？ 7、如何识别搜索用户的真实搜索意图？用户搜索目的可以分为几类？什么是点击图？什么 是查询会话？相关搜索是如何做到的？ 8、为什么要对网页进行去重处理？如何对网页进行去重？哪种算法效果较好？ 9、搜索引擎缓存有几级结构？核心策略是什么？ 10、什么是情境搜索？什么是社会化搜索？什么是实时搜索？ 二、对云计算与云存储有兴趣的技术人员 1、什么是CAP 原理？什么是ACID 原理？它们之间有什么异同？ 2、Google 的整套云计算框架包含哪些技术？Hadoop 系列和Google 的云计算框架是什么关 系？ 3、Google 的三驾马车GFS、BigTable、MapReduce 各自代表什么含义？是什么关系？ 4、Google 的咖啡因系统的基本原理是什么？ 5、Google 的Pregel 计算模型和MapReduce 计算模型有什么区别？ 6、Google 的Megastore 云存储系统和BigTable 是什么关系？ 7、亚马逊公司的Dynamo 系统是什么？ @ DataGuru 专业数据分析社区 网址 ：edu.dataguru.cn 1 技术成就梦想 8、雅虎公司的PNUTS 系统是什么？ 9、Facebook 公司的Haystack 存储系统适合应用在什么场合？ 三、从事搜索引擎优化的网络营销人员及中小网站站长 从事搜索引擎优化的网络营销人员及中小网站站长 搜索引擎的反作弊策略是怎样的？如何进行优化避免被认为是作弊？ 搜索引擎如何对搜索结果排序？链接分析和内容排序是什么关系? 什么是内容农场？什么是链接农场？它们是什么关系？ 什么是Web 2.0 作弊？有哪些常见手法？ 什么是SpamRank?什么是TrustRank?什么又是BadRank？它们是什么关系？ 咖啡因系统对网页排名有何影响？ 课程大纲： 第一课：初识搜索引擎，了解其技术架构 1、按照各大搜索引擎商业公司使用的技术为依据对搜索引擎进行时代划分 2、讲解搜索引擎的三大实现目标 3、讲解搜索引擎的三大核心问题及技术发展 4、详细讲解搜索引擎的技术架构 第二课：讲解网络爬虫 1、讲解通用爬虫框架 2、讲解通过哪些特征来判断一个网络爬虫是否优秀 3、详细讲解网络爬虫的抓取策略 4、详细讲解网络爬虫对网页更新策略 5、详细讲解网络爬虫的暗网抓取 6、详细讲解分布式爬虫 第三课：讲解搜索引擎索引 1、讲解单词--文档矩阵、倒排索引基本概念、倒排索引简单实例 2、讲解单词词典：哈希加链表、树形结构、 3、讲解两遍文档遍历法、排序法、归并法、动态索引 4、讲解索引更新策略：完全重建策略、在合并策略、原地跟新策略、 @ DataGuru 专业数据分析社区 网址 ：edu.dataguru.cn 2 技术成就梦想 5、讲解查询处理：一次一文档、一次一单词、跳跃指针、多字段索引 第四课