Google关于大数据处理的论文简述要点.pdfVIP

Google 关于大数据处理的论文简述 7 2013 年 4 月 目录 一、简述 3 二、 Google 经典三篇大数据论文介绍 3 2.1、GFS 3 2.2、MapReduce 5 2.3、BigTable 一个分布式的结构化数据存储系统 6 三、 Google 新大数据论文介绍 6 3.1、Caffeine：处理个体修改 7 3.2、Pregel：可扩展的图计算 8 3.3、Dremel ：在线可视化 8 四、总结 12 一、简述 Google 在 2003 年开始陆续公布了关于 GFS 、MapReduce 和 BigTable 三 篇技术论文， 这也成为后来云计算发展的重要基石， 为数据领域工作者开启了大 数 据 算法 之门 。然而 Google 的 大数 据脚 步 显然 不止 于此 ，其 后 公布 了 Percolator 、Pregel 、Dremel 、Spanner 等多篇论文。 没有止步的不仅是 Google ， 很多公司也跟随其脚步开发了很多优秀的产品， 虽然其中不乏模仿。 主流的大数 据基本都是 MapReduce 的衍生，然而把目光聚焦到实时上就会发现： MapReuce 的局限性已经渐渐浮现。下面将讨论一下自大数据开始， Google 公布的大数据 相关技术，以及这些技术的现状。 从 2010 年之后 Google 在后 Hadoop 时代的新“三驾马车”—— Caffeine 、 Pregel 、Dremel 再一次影响着全球大数据技术的发展潮流。但这还远远不够， 目前 Google 内部使用的大数据软件 Dremel 使大数据处理起来更加智能。 二、 Google经典三篇大数据论文介绍 Google 在 2003 年到 2006 年公布了关于 GFS 、MapReduce 和 BigTable 三篇技术论文。 三篇论文主要阐述： 2.1、GFS 公布时间： 2003 年。 GFS 阐述了 Google File System 的设计原理， GFS 是一个面向大规模数据 密集型应用的、可伸缩的分布式文件系统。 GFS 虽然运行在廉价的普遍硬件设 备上，但是它依然了提供灾难冗余的能力，为大量客户机提供了高性能的服务。 虽然 GFS 的设计目标与许多传统的分布式文件系统有很多相同之处，但 是，我们设计还是以我们对自己的应用的负载情况和技术环境的分析为基础的， 不管现在还是将来， GFS 和早期的分布式文件系统的设想都有明显的不同。所 以我们重新审视了传统文件系统在设计上的折衷选择， 衍生出了完全不同的设计 思路。 GFS 完全满足了我们对存储的需求。 GFS 作为存储平台已经被广泛的部 署在 Google 内部，存储我们的服务产生和处理的数据，同时还用于那些需要大 规模数据集的研究和开发工作。 目前为止，最大的一个集群利用数千台机器的 数千个硬盘，提供了数百 TB 的存储空间，同时为数百个客户机服务。 为了满足 Google 迅速增长的数据处理需求，我们设计并实现了 Google 文 件系统 (Google File Sys