大数据存储与处理_第二讲.pptVIP

大数据的三个关键问题 Google的大数据技术 Google的业务：PageRank 三大法宝;文件存储;三大关键问题;存储问题;提升吞吐量;三大关键问题;多核技术;IPS ??MF ?IPC??? ?;并行模式;并行系统架构;三大关键问题;数据容错;计算任务容错;Google是如何解决其大数据处理的三个关键性问题的? 我们需要先了解Google的业务特点。;1995;Google之前的搜索;Google; Google的自我揭秘！ ? 核心算法 – Lawrence Page, Sergey Brin, et. al., The PageRank Citation Ranking: Bringing Order to the Web. Technical Report, Stanford InfoLab, 1999. (6881) ? 三大法宝 – Sanjay Ghemawat, Howard Gobioff, et. al., The Google file system, Proceedings of the Nineteenth ACM Symposium on Operating Systems Principles, 2003. (3911) – Jeffrey Dean, Sanjay Ghemawat, MapReduce: Simplified Data Processing on Large Clusters , Sixth Symposium on Operating System Design and Implementation, 2004. (9569) – Fay Chang, Jeffrey Dean, et. al., Bigtable: A Distributed Storage System for Structured Data, Seventh Symposium on Operating System Design and Implementation, 2006. (2558);? 搜索结果如何排序！;? 佩奇（Page），斯坦福; 算法的图论表述; 0 1/2 0 1/2 0;PageRank（9）– 算法的计算问题;Google三大法宝之一：MapReduce;矩阵乘法串行实现 1: for i=1;i=N;i++;想办法解决大规模矩阵相乘问题：我拆;想办法解决大规模矩阵相乘问题：我再拆;子任务;MapReduce的来源;MapReduce原理;MapReduce机制;MapReduce不仅仅是编程模型!;程序示例：WordCount;Google三大法宝之二：GFS;GFS简介;Google特有的数据和计算;GFS支持大容量;GFS支持高吞吐量 ? Google处理的数据特点 – 抓取网页并存储：顺序写入，极少发生随机写的情况 – 分析网页内容：文件写入后，只会发生读的操作，不会再修改 ? GFS实现高吞吐量的两个关键点： ① 顺序写入，顺序读取，避免随机读写;GFS支持容错 ? 问题：大量廉价PC组件构成的集群作为硬件基础，单节点故障率较高;GFS系统架构;① ② ③ ④ ⑤;Google三大法宝之三：BigTable;简单搜索框背后的复杂工作;为什么需要BigTable？;BigTable数据模型;BigTable示例;BigTable表的展开;;BigTable系统架构