大数据基础概念创业创新.pptx

大数据基础概念@张涵诚大数据用5W1H了解大数据目录为什么要研究大数据（WHY）什么是大数据（WHAT）哪里有大数据（WHERE）大数据现在什么阶段（WHEN）谁在做大数据（WHO）大数据是一种方法（HOW）大数据有哪些潜在价值（Value）大数据有哪些关键的技术（Tachnology）商业模式驱动数据竞争的压力能力向消费者转移大数据的激增 “数据现在就像新型石油。数据就像原油一样，非常宝贵，但是如果未进行优化则毫无用处。” – 专家“我们的经济是基于一种不仅可再生并且会自我生成的资源。用完不是问题，被淹没才是问题。”– John Naisbitt社会在发生变革Google ,Facebook, 腾讯百度阿里彻底的改变了人们生活 你在读书，书在读你数据是一种资产，成为商品构成成分、是一种资源UGC时代到来在web 2.0的时代，人们从信息的被动接受者变成了主动创造者全球每秒钟发送 2.9 百万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5 年…每天会有 2.88 万个小时的视频上传到Youtube，足够一个人昼夜不息的观看3.3 年…推特上每天发布 5 千万条消息，假设10 秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览16 年…每天亚马逊上将产生 6.3 百万笔订单…每个月网民在Facebook 上要花费7 千亿分钟，被移动互联网使用者发送和接收的数据高达1.3EB…Google 上每天需要处理24PB 的数据…全新的计算时代Variety杂Volume多Velocity快Veracity垃圾*Data in doubtData in many formsData at restData in motionUncertainty due to data inconsistency incompleteness, ambiguities, latency, deception, model approximationsTerabytes to exabytes of existing data to processStreaming data, milliseconds to seconds to respondStructured, unstructured, text, multimedia* Truthfulness, accuracy or precision, correctness业务发展-DAAS模式精髓IT比业务反应更快！批准部署研究 优先级问题 错过截止日期 与市场脱节BI，分析多变量测试 太多噪音数据 事后诸葛 依靠猜测实时自动调节系统自动升级重-设计重-发布新-平台每年每季每月使用群体智慧调整、商品化it优化，业务改进 手动高成本 仅提供前5%最热门内容 专家偏见开发QA 太多项目 茅盾的优先级 昂贵少量IT参与用5W1H了解大数据目录为什么要研究大数据（WHY）什么是大数据（WHAT）哪里有大数据（WHERE）大数据现在什么阶段（WHEN）谁在做大数据（WHO）大数据是一种方法（HOW）大数据有哪些潜在价值（Value）大数据有哪些关键的技术（Tachnology）何为大？—数据度量1Byte = 8 Bit1KB = 1,024 Bytes1MB = 1,024 KB = 1,048,576 Bytes1GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes1PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes1EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes1ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes大数据的“大“《红楼梦》含标点87万字（不含标点853509字）每个汉字占两个字节：1汉字=16bit = 2*8位=2bytes1GB 约等于671部红楼梦1TB 约等于631,903 部1PB 约等于647,068,911部美国国会图书馆藏书（151,785,778册）（2011年4月：收录数据235TB ）中国国家图书馆：2631万册1EB = 4000倍美国国会图书馆存储的信息量600美元的硬盘就可以存储全世界所有的歌曲MGI估计,全球企业2010 年在硬盘上存储了超过7EB(1EB 等于10 亿GB)的新数据,同时,