大数据与云计算培训资料(演变史).pptx

详解大数据、云计算演变史何为大？信息度量1Byte = 8 Bit1KB = 1,024 Bytes 1MB = 1,024 KB = 1,048,576 Bytes 1GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes1PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes1EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes1ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 BytesGoogle每天要处理超过24PB的数据Facebook每天更新的照片量超过1 000万张YouTube每月接待多达8亿的访客，平均每一秒钟就会有一段长度在一小时以上的视频上传twitter上的信息量几乎每年翻一倍，截至2012年，每天都会发布超过4亿条微博数据都从哪里来？量变导致质变表面张力 vs 万有引力一个月吃一碗饭一天吃一碗饭一餐吃一碗饭一个小时吃一碗饭一分钟吃一碗饭一秒吃一碗饭这么多数据要放哪里？怎样处理？不要问我从哪里来的“不知所云”通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将与互联网更相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。服务特征把计算能力像水和电一样提供给用户什么是云计算权威定义Wiki定义：云计算是一种通过Internet以服务的方式提供动态可伸缩的虚拟化的资源的计算模式。美国国家标准与技术研究院（NIST）定义：云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问， 进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。Google の野望 “浏览器＝操作系统”公共云(服务提供商 – 互连网)私有云(数据中心 – 内部网)混合云(公共和私有)XX 就是服务SaaS 应用云（代表：salesforce的CRM）PaaS 平台云（代表：Google App Engine）IaaS基础设施云(代表：亚马逊的S3)亚马逊IaaS应用案例：纽约时报Google 云计算SaaS软件终结者可提供随需应用的客户关系管理(On-demandCRM)允许客户与独立软件供应商定制并整合其产品，同时建立他们各自所需的应用软件Salesforce CRM 价格分别有5美元，17美元，65美元，125美元和250美元的不同版本云计算的演化2006年8月9日Google CEO埃里克·施密特（Eric Schmidt）在搜索引擎大会（SESSanJose 2006）首次提出“云计算”（CloudComputing）的概念。90年代1996年，互联网上只有一万多个网站，现在有一亿六千万个96年能上网的人基本上使用28.8或者33.6Kbps的猫，高速的56Kbps猫直到97年才出来640×480才是主流，800×600是高端201319971998年Googol ? Google1 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000Google的BID PROBLEM海量数据快速处理搜索排名Google的PageRank 技术PageRank 并不计算直接链接的数量，而是将从网页 A 指向网页 B 的链接解释为由网页 A 对网页 B 所投的一票。评估每个投票网页的重要性，因为某些网页的投票被认为具有较高的价值，这样，它所链接的网页就能获得较高的价值。杜绝人工干预或操纵Google的海量数据怎样存储？摩尔定律正在走向终结…单芯片容纳晶体管的增加，对制造工艺提出要求CPU制造18nm技术，电子泄漏问题CPU主频已达3GHz时代，难以继续提高散热问题（发热太大，且难以驱散）功耗太高Google云计算应用MapReduce并行数据处理BigTable结构化数据表Chubby分布式锁GFS分布式文件系统 GFS设计原则：机器失效不能视为异常现象能应付对大型/超大型文件处理支持大量用户同时访问GFS组成GFS集群:一个的Master和多个ChunkS