透视大数据(讲座-20150724).ppt

* * 制度 * 大数据是信息技术普及的产物 大数据是认识复杂系统的工具 大数据是创新驱动发展的引擎 透视大数据(讲座教材 谢谢 * * 2012年4月奥巴马的大数据倡议。 * 找到涉及大数据的技术爆发曲线 大数据第一次出现在曲线上是2012年 * 4V。维基百科，百度百科的定义。 * 第一次出现“大数据”，与科学大数据联系与不同。 请参见/sites/gilpress/2013/05/09/a-very-short-history-of-big-data/ /blogs/transformation-through-technology/history-big-data * * 参考《第二次机器革命》第一、三章的观点，结合案例，最新的 千倍量纲M、G、T、P、E、Z(我找) * 参考第二次工业革命 * * * * * * * * * * * 2012年3月美国白宫发布“大数据研究和发展倡议” 继1993年 “信息高速公路”计划后的又一次重大科技战略部署 目标 提升利用庞大而复杂的数字资料提炼真知灼见的能力 协助加速科学、工程领域创新步伐 强化美国国土安全，转变教育和学习模式 投资超过两亿美元 美国国家科学基金 国家卫生研究院 美国国防部 美国能源部 国防部高级研究计划局 地质勘探局 …… * 2012年 2013年 2014年 2012年 2013年 * 数据量巨大 增长速度快 种类繁多 蕴含巨大价值 淘宝2013年双11销售额350亿，全天订单1.67亿，独立访客4.02亿，CDN最高峰值流量达3500Gbps IDC的研究指出： 2020年前全球数据量大约两年翻一倍 人类文明所获得全部数据中，90%是过去两年内产生的 美国NSA用于监听、可存储一百亿亿兆(1024B)数据的数据中心里，邮件、手机通话、银行账户活动、网络行为乃至停车费收据都被一网打尽 《时代》杂志刊文称2012年美国大选，深入的数据挖掘在帮助奥巴马获取有效选民、投放广告、募集资金方面起到重要作用 * 1944 F. Rider预见耶鲁大学图书馆的书架2040年将长达6000英里 1949 信息论之父香农估计国会图书馆信息量为1000万亿比特 1961 研究者指出学术期刊的数目每15年翻一番 1975 日本邮电省：“我们的社会正在进入一个新的时代…更为详细的、满足个性化需求的信息正在取代传统信息…” 1996 数字存储开始变得比纸质保存更便宜 1997 M. Cox等第一次在论文中提出Big Data这一名词 * * 对数增长 线性增长 指数增长 时间 值 全球数据总量统计（IDC） 2003年全球产生数据仅5百万TB 2009年全球产生数据约8亿TB 2012年全球产生数据约27亿TB * 1956年 IBM硬盘 容量5MB 3.5万美元 2014年 WD硬盘 容量4TB 约1千元人民币 1948年 ENIAC计算机 每秒5000条指令50万美元 2014年 智能手机每秒10亿条指令 约数千元人民币 数字技术低成本化 万物数字化 * 2000年前的连接 无处不在的人机物广泛连接 2014年7月,中国互联网网民数量6.32亿，手机网民数量5.27亿 2014年第二季度，微信月活跃用户数4.38亿 2014年4月，QQ同时在线用户数超过2亿，其中移动用户超过70% 2020年物联网市场规模将达7.1万亿美元 …… * 11月11日 0点0分0秒 55秒 超1亿 6分7秒 超10亿 38分5秒 超20亿 13分22秒 超50亿 1点 超175.2亿 5点49分 超100亿 12点 超67亿 8点42分 超121亿 超过美国最大网上购物节“网络星期一”总额 13点39分 超200亿 21点19分 超300亿 350.19亿 24点 全天订单产生量1.67亿，包裹量1.52亿，第一分钟涌入1370万人 全天4.02亿独立访客，CDN最高峰值流量3500Gb/s * 单位 举例 1B 一个字节 一个英文字母用一个字节字节表示 1KB ＝103B 一千字节 记录500个汉字 1MB ＝106B 一兆字节 一副高清照片需要5MB 1GB ＝109B 十亿字节 5集标清电视剧需要1GB 1TB ＝1012B 万亿字节 iPad的存储容量已经达到EB级 1PB ＝1015B 千万亿字节 国家图书馆的信息容量为PB级 1EB ＝1018B 百亿亿字节 2000年，全球产生数据达到EB级 1ZB ＝1021B 亿亿亿字节 2010年，全球产生数据达到ZB级 1YB ＝1024B 千亿亿亿字节 2020年，全球产生数据将超过YB级 1GoogolB ＝10100B ？？？？？？ 人类所知道自然界所有物质的原子编码均达不到这个数 * *