大数据时代背景.PPT

陈 辉 2016年3月 Page ? * 目录 大数据概念、背景与意义 1 大数据时代背景与意义 2 Page ? * 1、大数据时代—研究背景与意义 大数据时代背景 1.1 大数据定义及特点 1.2 大数据研究的意义 1.4 科学发现第四范式 1.5 大数据的影响 1.3 大数据典型应用案例 1.6 Page ? * 1、大数据概念、背景与意义 1.1、大数据时代背景 工业革命以后，以文字为载体的信息量大约每十年翻一番，1970年以后，信息量大约每三年翻一番；如今，全球信息总量每两年就可以翻一番； 1TB = 103GB 1PB = 106TB 1EB = 109GB 1ZB = 1012GB 2011年全球被创建和复制的数据总量为1.8ZB(1ZB= 103 EB =106 PB)，其中75%来自于个人； IDC认为，到2020年，全球所有IT部门拥有服务器的总量将会比现在多出10倍，所管理的数据将会比现在多出50倍； 根据麦肯锡全球研究院预测，到2020年，全球数据使用量预计将暴增44倍，达到35ZB。 Page ? * 1、大数据概念、背景与意义 1.1、大数据时代背景 医疗卫生、地理信息、电子商务、影视娱乐、科学研究等行业，每天都在创造着大量的数据； 数据采集成本的下降推动了数据量的剧增； 新的数据源和数据采集技术的出现大大增加了数据的类型，数据类型的增加导致数据空间维度增加，极大地增加了大数据的复杂度。 Page ? * 1、大数据概念、背景与意义 1.1、大数据时代背景 Google：通过大规模集群和MapReduce软件，每个月处理的数据量超过400PB。 百度：拥有数百PB的数据量，每天大约要处理几十PB数据。 Facebook：注册用户超过810亿，每月上传照片超过10亿张，每天生成300TB以上的日志数据 淘宝网：有3.7亿会员，在线商品超过8.8亿，每天交易数千万笔，产生约20TB数据。 Page ? * 1、大数据概念、背景与意义 1.1、大数据时代背景 Yahoo：Hadoop云计算平台有34个集群，超过3万台机器，总存储容量超过100PB。 大型强子对撞机每年积累的新数据量为15PB 左右。 世界商业巨头沃尔玛(Wal-Mart) 在全球有6000 多个分店，它们每小时产生一百万条顾客购买事务记录，这些数据的规模大约为2.5PB，相当于美国国会图书馆数据量的167倍。 Page ? * 1、大数据概念、背景与意义 1.1、大数据时代背景 数据规模从TB级别上升到PB甚至ZB级别 人类社会已经进入了大数据时代 Page ? * 1、大数据概念、背景与意义 1.2、大数据定义及特点 （1）定义： 大数据(big data)，或称巨量资料，指指的是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。【百度百科】 大数据（big data），或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。【维基百科】 Page ? * 1、大数据概念、背景与意义 1.2、大数据定义及特点 （2）特点（4个V）: Volume（体量浩大） Variety（模态繁多） Velocity（生成快速） Value（价值巨大但密度很低） Page ? * 1、大数据概念、背景与意义 1.3、大数据的影响 大数据隐含着巨大的社会、经济、科研价值，已经引起了各行各业的高度重视。 著名的O’Reily公司断言：“数据是下一个‘Intel Inside’，未来属于将数据转换成产品的公司和人们。” Page ? * 1、大数据概念、背景与意义 1.3、大数据的影响 （ 1）企业界 自2005年以来，IBM投资160亿美元进行了30次与大数据有关的收购，促使其业绩稳定高速增长，到2012年，IBM股价突破200美元大关，3年内，股价翻了3倍。 eBay通过数据挖掘精确计算出广告中每个关键字为公司带来的回报。通过广告投放优化，2007年以来eBay广告投放费降低了99%，而顶级卖家占总销售额的百分比却上升至32%。 目前，巨大的经济利益驱使大企业，例如：IBM、Oracle、Microsoft、Google、Amazon及Facebook不断扩大数据处理的规模，成为大数据处理技术的主要推动者。 Page ? * 1、大数据概念、背景与意义 1.3、大