云计算与大数据第二章 揭秘大数据.pptx

云计算与大数据;第二章 揭秘大数据;（1）社交媒体。 社交媒体（SNS，Social Networking Service或Social Networking Site）的雏形应该是BBS（Bulletin Board System，电子公告牌系统），最早的BBS是1973年在美国加州旧金山湾区出现的Community Memory系统，当时的网络连接是通过Modem远程接入一款叫作SDS 940的分时处理大型机来实现的。中国最早的BBS系统经历了从1992年的长城站，到后来的惠多网（据说惠多网的用户中有中国最早一批本土互联网创业者—马化腾、求伯君、丁磊等）到1994年中科院网络上建立的真正意义上的基于互联网的BBS系统—曙光站，而同时在线超过100人的第一个国内大型BBS论坛则是长盛不衰的水木清华，而它的起因大抵是因为清华的同学们对于连接隔壁中科院的曙光站竟然要先从中国教育网跑到太平洋彼岸的美国再折返回中科院网络表示愤懑，于是自立门户成立的水木清华站—它最早是在一台386 PC上提供互联网接入服务的。; 表2-1列出了常见的社交媒体与互联网服务的每秒钟交易（或服务完成）数量。;（2）移动互联网。 移动互联网是互联网的高级发展阶段，也是互联网发展的必然。移动互联网是以移动设备，特别是智能手机、平板电脑等移动终端设备全面进入我们的生活、工作为标志的。最早的具备联网功能的移动终端设备是1990年代中期开始流行的PDA（Personal Digital Assistant）。遗憾的是市场更新迭代的速度如此之快，在短短10年后，PDA操作系统三大巨头Palm、BlackBerry与Microsoft Windows CE，外加最早的手机巨头Nokia就已经让位于真正的智能手机操作系统后起之秀—Apple iOS与Android。; 据统计从1992年开始到2019年，整个互联网数据流量的增长将达到惊人的四千五百万倍（见图2-2）—从1992年的每天100GB（1992年是硬盘刚进入1GB的时代，每天100GB的互联网数据流量就相当于全世界每天交换了100块硬盘之多的数据）；1997年这一数据增长24倍，平均每小时100块1GB硬盘，而同一时期的硬盘容量增长到了16～17GB；1997—2002年，是互联网猛烈增长的5年，迅速达到了100GB/s的水平，而同一年硬盘寻址空间刚刚突破137GB的限制；2007年又增长了20倍到达了2,000GB/s的水平，同年Hitachi也推出了第一块1TB（1,000GB）容量的硬盘；2014年的互联网流量已经突破16TB/s，无独有偶，Seagate也在同年发布了业界第一款8TB的硬盘，预计2019年的网络流量则会达到52TB/s—从任何一个角度看，网络流量的增速都超过了单块硬盘的扩容速度，这也从另一个侧面解释了为什么我们的IT基础架构一直处于不断的升级、扩容中—大（量）数据联网交换的需求推动所致！;（3）物联网。 物联网（Internet of Things，IoT）5的起源可以追溯到1999年，当时在PG工作的英国人Kevin Ashton最早冠名使用了IoT字样，同一年他在MIT成立了一个旨在推广RFID技术的Auto-ID中心，而对于PG来说最直接的效益就是利用RFID技术与无线传感器的结合可以对其供应链系统进行有效的跟踪与管理。 中国人对物联网的熟知应当是2009年，先是国务院总理对无锡物联网科技产业园区的考察而后是总理的一篇面向首都科技界《让科技引领中国可持续发展》的讲话。; 有一种提法认为继移动互联网之后，IT行业最高速的增长会在物联网领域，有一些统计数据表明到2019年超过2/3的IP数据会从非PC端设备产生，如互联网电视、平板电脑、智能手机以及M2M（Machine-to-Machine）传感器。IDC预测到2020年会有300亿物联网设备，而整个生态系统会是一个17,000亿美元的巨大市场。Cisco预测到2020年物联网设备会有500亿之多，而Intel、IDC与联合国的另一预测则乐观地估计届时会有超过2,000亿物联网设备。 ;图2-2 Cisco VNI全球互联网流量分析与预测; 社交媒体、移动互联网、物联网三大催化剂让数据量在过去几十年间呈指数级增长，除此以外数据的产生速率以及数据的多样性与复杂性都在随之增长—数据的这三大特性—数量（Volume）、速率（Velocity）与多样性（Variety），我们通常称之为大数据的3V。如果再考虑到数据来源的可靠性与真实性（Veracity）以及数据的价值（Value），可以把3V扩展到5V，不过通常业界对于数据的价值的定义有很多主观因素在里面，因此业界通常都习惯引用IBM