Google大数据发展与应用总结归纳.pdf

精心整理 IT 新技术课题报告 Google 大数据技术 专业名称：软件工程 姓名：王六平 2019 年 9 月 11 日 2019 年－ 9 月 目录 一、简述 4 二、 Google 经典三篇大数据论文介绍 . 5 2.1 、GFS 5 2.2 、MapReduce 6 2.3 、BigTable 一个分布式的结构化数据存储系统 7 三、 Google 新大数据论文介绍 . 8 3.1 、Caffeine ：处理个体修改 8 3.2 、Pregel ：可扩展的图计算 9 3.3 、Dremel：在线可视化 11 四、Google 大数据的应用 . 14 2019 年－ 9 月 一、大数据时代的来临 1. 大数据的概念 ： 按照维基百科上的定义，所谓“大数据”（ big data ）在当今的互联网业指 的是这样一种现象：一个网络公司日常运营所生成和积累用户网络行为的数据 “增长如此之快， 以至于难以使用现有的数据库管理工具来驾驭” 。这些数据量 是如此之大，已经不是以我们所熟知的多少 G和多少 T 为单位来衡量，而是以 P （1000 个 T），E （一百万个 T）或 Z （10 亿个 T）为计量单位，所以称之为大数 据。 大数据泛指巨量的数据集， 因可从中挖掘出有价值的信息而受到重视。 《华 尔街日报》 将大数据时代、 智能化生产和无线网络革命称为引领未来繁荣的三大 技术变革。麦肯锡公司的报告指出数据是一种生产资料，大数据是下一个创新、 竞争、生产力提高的前沿。 世界经济论坛的报告认定大数据为新财富， 价值堪比 石油。因此，发达国家纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要 抓手。 2. 大数据的发展 互联网特别是移动 2 互联网的发展， 加快了信息化向社会经济各方面、 大众 日常生活的渗透。 有资料显示， 1998 年全球网民平均每月使用流量是 1MB（兆字 节）， 2000 年是 10MB，2003 年是 100MB，2008 年是 1GB（1GB等于 1024MB）， 2014 年将是 10GB。全网流量累计达到 1EB（即10 亿 GB或 1000PB）的时间在 2001 年是一年，在 2004 年是一个月，在 2007 年是一周，而 2013 年仅需一天，即一 天产生的信息量可刻满 1.88 亿张 DVD光盘。我国网民数居世界之首，每天产生 的数据量也位于世界前列。 淘宝网站每天有超过数千万笔交易， 单日数据产生量 超过 50TB （1TB等于 1000GB），存储量 40PB （1PB等于 1000TB）。百度公司目 前数据总量接近 1000PB，存储网页数量接近 1 万亿页，每天大约要处理 60 亿次