大数据概述-大数据的概念-大数据的定义.pptxVIP

大数据的定义 北京信息职业技术学院 | 朱立 资料来源：慧科教育——开课吧 目录 1 何为大？—数据度量 2 阿里巴巴云梯一 数据规模(2012) 3 大数据的“大” 4 大数据的定义 大数据的定义 1 2 何为大？—数据度量 1Byte = 8 Bit 1KB = 1,024 Bytes 1MB = 1,024 KB = 1,048,576 Bytes 1GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes 1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes 1PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes 1EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes 1ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes 1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes 集群容量 –约3200台服务器 –物理CPU ~30000核 –内存 ~100TB –磁盘 ~36000块 –存储容量 ~60PB 集群负载 –每天Job数 150,000+道 –每天hive query数 6,000+ –每天扫描数据量 ~7.5PB –每天扫描文件数 ~4亿 –存储利用率 ~80% –CPU利用率~65% 峰值80% 阿里巴巴是数据信息流制造业 3 阿里巴巴云梯一 数据规模(2012) 4 大数据的“大” 《红楼梦》含标点87万字（不含标点853509字） 每个汉字占两个字节：1汉字=16bit = 2*8位=2bytes 1GB 约等于671部红楼梦 1TB 约等于631,903 部 1PB 约等于647,068,911部 4 大数据的“大” 美国国会图书馆藏书（151,785,778册）（2011年4月：收录数据235TB ） 中国国家图书馆：2631万册 1EB = 4000倍美国国会图书馆存储的信息量 600美元的硬盘就可以存储全世界所有的歌曲 MGI估计,全球企业2010 年在硬盘上存储了超过7EB(1EB 等于10 亿GB)的新数据,同时,消费者在PC 和笔记本等设备上存储了超过6EB 新数据 致谢 慧科教育——开课吧 8