大数据导论第1章 什么是大数据.pptx

大数据导论;第1章 什么是大数据;1.1 人类信息文明的发展;1.2 大数据时代的来临; 信息技术的发展和不断的快速革新才造就了信息量的指数级增长，而信息量的不断堆积直接造就了大数据概念的出现。随着相关技术的不断成熟，人们终于迎来了大数据时代。;1.2.1 信息技术的发展 大数据时代的到来得益于信息科技的跨越式持久发展，而信息技术主要解决的是信息采集、信息存储、信息处理和信息显示4个核心问题。 这4个核心问题的相关技术的不断成熟才真的支撑了整个大数据时代的全???到来，具体的技术发展表现如下。 ;1．信息采集技术的不断完善和实时程度的不断提升 大数据时代的到来离不开信息的大量采集。数据采集技术随着人类信息文明的发展已经有了质的飞跃（见图?1-1）。 大数据技术主要依附于数字信息，就数字信息的采集技术而言，现在的数字信息采集方法已经十分完善，文字、图片、音频、视频等多维度的数字信息的采集手段和技术已经十分完备。数据的采集越来越实时化，随处可见实时音频直播和实时视频传播。可以说信息的采集环节已经基本实现实时化，而信息延迟主要在信息传输和信息处理阶段。 ;图1-1 信息采集的最新技术;2．信息存储技术的不断提升 计算机硬盘的快速发展促进了高安全性和高扩展性的商业领域信息存储乃至信息积累，而移动端闪存的快速发展则拉动了个体生活和社会公共事务方面的快速信息积累，两者相辅相成，共同提供了大数据时代的信息体量支撑。;3．信息处理速度和处理能力的急速提升 信息处理速度主要依靠计算机处理核心CPU的运算能力。 CPU单核心处理能力的演变长期遵循摩尔定律（见图?1-2），即CPU的运算速度随着时间呈现指数增长趋势，所以在很长时间内，行业的发展主要集中在提高CPU单个核心的运算主频上。; 而随着摩尔定律的渐渐失效，尤其是伴随着提高CPU单核心主频带来的商业成本的成倍增加，直接促使技术模式由简单的提高单核心主频向多核心多线程发展，即增加单个CPU的处理核心的数量的同时增加内存和CPU联络的线程数量和通信带宽，这样就可以保证多核心的同时运转。CPU的实际运算因核心数量的增加，同样实现了运算速度的十分可观的高速提升。 ;4．信息显示技术的完备和日臻成熟 信息的显示技术尤其是可视化技术近些年有了突破性进展，特别是随着图形像素技术的不断提升，图形显示越来越细腻，图形显示水平已经越来越趋于逼真和生动化（见图1-3）。; 图形显示技术的发展突破了简单文字显示和图表显示的技术界限，信息显示由一维、二维显示拓展到了三维乃至更多维度显示。这样的显示技术带来了整个大数据行业的腾飞：首先，带给人们更好的视觉和感官享受，让信息技术更好、更快地融入信息时代；其次，带来了新的连带技术的发展，诸如图形化数据库、图像识别及人工智能等技术的全面发展；最后，信息显示的发展和日臻完善，给整个信息技术带来了从量到质的跨越式发展，并且会继续更加深远地影响整个大数据时代的发展。 ;1.2.2 数据产生方式的变革 大数据时代的到来依托于信息技术的不断革新和发展，但是仅靠信息技术的发展，还是不能完全促使大数据时代的最终来临。信息技术的发展只能为大数据时代的来临带来技术上的铺垫和积淀。大数据时代的来临必须依托于数据量的爆炸式增长和完善，而这在很大程度上取决于数据产生方式的变革。; 可以说信息技术的发展促进了数据产生方式的变革，而反过来数据产生方式的革新也倒逼了信息技术的不断完善和发展，两者的发展是相辅相成和互相促进的。接下来就看看数据产生方式的变革历程（见图?1-4）。 ;1．传统大型商业领域业务运营数据产生方式的变化 可以说传统大型商业领域业务运营数据的采集是整个数据行业的开始，因为银行、商铺、保险、证券、股票、零售等商业数据的隐私性和保密性要求，直接激发了人们对信息行业发展的需求。同时这些传统的商业部门也完成了整个大数据行业的早期数据积累，尤其是对数据量变方面的贡献。由于整个商业领域有大量的保密且极其重要的数据需要妥善保存和随时处理，同时伴随着商业全球化的扩张和整个世界经济在过去半个世纪尤其是第二次世界大战以后飞速的发展，都促使传统商业领域的数据量大幅增加。; 商业数据由过去的波浪形增长方式变成了指数型的爆炸式增长方式。这种数据产生方式的变化直接倒逼了信息技术的发展，包括传统数据库技术、数据检索标准语言—SQL、大型商业数据中心、全球商业数据网络等新的数据技术的发展，而这些技术都为传统商业运营所产生的大量数据提供存储和处理。;2．互联网时代数据产生方式的变化 全球海底电缆连通世界五大洲，促使万维网全球数据连通；通信卫星的全球组网，再一次在移动端将整个人类联系在了一起