- 1、本文档共13页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
精心整理
IT 新技术课题报告
Google 大数据技术
专业名称:软件工程
姓名:王六平
2019 年 9 月 11 日
2019 年- 9 月
目录
一、简述 4
二、 Google 经典三篇大数据论文介绍 . 5
2.1 、GFS 5
2.2 、MapReduce 6
2.3 、BigTable 一个分布式的结构化数据存储系统 7
三、 Google 新大数据论文介绍 . 8
3.1 、Caffeine :处理个体修改 8
3.2 、Pregel :可扩展的图计算 9
3.3 、Dremel:在线可视化 11
四、Google 大数据的应用 . 14
2019 年- 9 月
一、大数据时代的来临
1. 大数据的概念 :
按照维基百科上的定义,所谓“大数据”( big data )在当今的互联网业指
的是这样一种现象:一个网络公司日常运营所生成和积累用户网络行为的数据
“增长如此之快, 以至于难以使用现有的数据库管理工具来驾驭” 。这些数据量
是如此之大,已经不是以我们所熟知的多少 G和多少 T 为单位来衡量,而是以 P
(1000 个 T),E (一百万个 T)或 Z (10 亿个 T)为计量单位,所以称之为大数
据。
大数据泛指巨量的数据集, 因可从中挖掘出有价值的信息而受到重视。 《华
尔街日报》 将大数据时代、 智能化生产和无线网络革命称为引领未来繁荣的三大
技术变革。麦肯锡公司的报告指出数据是一种生产资料,大数据是下一个创新、
竞争、生产力提高的前沿。 世界经济论坛的报告认定大数据为新财富, 价值堪比
石油。因此,发达国家纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要
抓手。
2. 大数据的发展
互联网特别是移动 2 互联网的发展, 加快了信息化向社会经济各方面、 大众
日常生活的渗透。 有资料显示, 1998 年全球网民平均每月使用流量是 1MB(兆字
节), 2000 年是 10MB,2003 年是 100MB,2008 年是 1GB(1GB等于 1024MB),
2014 年将是 10GB。全网流量累计达到 1EB(即10 亿 GB或 1000PB)的时间在 2001
年是一年,在 2004 年是一个月,在 2007 年是一周,而 2013 年仅需一天,即一
天产生的信息量可刻满 1.88 亿张 DVD光盘。我国网民数居世界之首,每天产生
的数据量也位于世界前列。 淘宝网站每天有超过数千万笔交易, 单日数据产生量
超过 50TB (1TB等于 1000GB),存储量 40PB (1PB等于 1000TB)。百度公司目
前数据总量接近 1000PB,存储网页数量接近 1 万亿页,每天大约要处理 60 亿次
文档评论(0)