大数据与云计算培训资料(演变史)剖析.pptx

详解大数据、云计算;何为大？信息度量;Google每天要处理超过24PB的数据 Facebook每天更新的照片量超过1 000万张 YouTube每月接待多达8亿的访客，平均每一秒钟就会有一段长度在一小时以上的视频上传 twitter上的信息量几乎每年翻一倍，截至2012年，每天都会发布超过4亿条微博;数据都从哪里来？;表面张力 vs 万有引力;这么多数据要放哪里？怎样处理？;不要问我从哪里来的“不知所云”;服务特征;把计算能力像水和电一样提供给用户;什么是云计算;权威定义;Google の野望 “浏览器＝操作系统”;;亚马逊IaaS应用案例：纽约时报;16;软件终结者;云计算的演化;2006年8月9日;1996年，互联网上只有一万多个网站，现在有一亿六千万个 96年能上网的人基本上使用28.8或者33.6Kbps的猫，高速的56Kbps猫直到97年才出来 640×480才是主流，800×600是高端;1997;1998年;Googol ? Google;Google的BID PROBLEM;搜索排名Google的PageRank 技术;Google的海量数据怎样存储？;摩尔定律正在走向终结…;Google云计算应用;GFS设计原则： 机器失效不能视为异常现象 能应付对大型/超大型文件处理 支持大量用户同时访问 GFS组成 GFS集群:一个的Master和多个ChunkServer（块服务器）组成，并可以多客户端Client访问 GFS设计要点 每个文件拆成若干个64M文件块Chunk组成 每个Chunk都由Master根据其创建时间指定Chunk Handle(64) 文件块被保存在ChunkServer本地磁盘中 缺省情况下3处热备份Chunk块文件 ; GFS;P2P传输协议多源文件传输协议 MFTPthe Multisource FileTransfer Protocol; P2P;MapReduce;只需要编写两个函数：;例子：单词统计;Map (key, value) { for ( each ‘world’ in value) collect(‘world’,1); …… };第二步 分割;第三步 Map（映射）;第四步 Fold（合并）;第五步 Reduce（归纳）;大数据、云计算有什么用？;马云成功预测 2008 年经济危机 “2008 年初,阿里巴巴平台上整个买家询盘数急剧下滑,欧美对中国 采购在下滑。海关是卖了货,出去以后再获得数据;而我们提前半年时间 从询盘上推断出世界贸易发生变化了。”;其他云平台…;云计算平台;商业化云计算平台;开源计算平台;实现基础;谢谢