数据科学与大数据技术导论-第2章-大数据概述.pptx

第2章 大数据概述主编：王道平数据科学与大数据技术导论 本章教学要点 本章主要大数据的相关理论知识。其中需掌握大数据的发展历程和大数据的概念与特征；熟悉大数据的产生背景、大数据的核心技术和大数据的处理过程；了解大数据的应用与挑战、大数据的价值和大数据与相关领域的关系。 目录大数据的产生和发展2.12.2大数据基础理论2.3大数据与相关领域的联系 01大数据的产生和发展PART ONE 2.1.1 大数据的产生背景信息化的浪潮是不断更迭的，根据国际商业机器公司(IBM）前 CEO郭士纳的观点，IT领域每隔若干年就会迎来一次重大变革，每一次的信息化浪潮，都推动了信息技术的向前发展。目前，在IT领域相继掀起了3次信息化浪潮，如下表所示。信息化浪潮发生时间标志解决问题代表企业第一次浪潮1980年前后个人计算机信息处理IBM、联想、苹果、戴尔、惠普等第二次浪潮1995年前后互联网信息传输雅虎、谷歌、百度、腾讯、中国移动、Facebook等第三次浪潮2010年前后物联网、云计算、大数据信息爆炸华为、滴滴、金蝶、阿里巴巴等 2.1.1 大数据的产生背景大数据是在信息化技术的不断发展下产生的，是IT技术的不断更新为大数据的出现提供了可能性。与此同时云计算技术的成熟又为大数据的存储和处理奠定了技术的基础。云计算在处理数据时运用分布式处理、并行处理和网格计算的技术基础，使庞大的数据量可以在短时间内被处理完成，相比于之前利用传统数据处理技术需要数小时甚至数天进行处理的数据量，运用云计算技术在数分钟甚至几十秒内就可以处理完成，极大的提高了数据处理的效率；在数据存储中，云计算通过集群应用，网格技术，分布式文件系统等方式使大数据可以被储存在云端，方便人们存取。为大数据的研究和利用提供了强大的技术支持。 2.1.2 大数据的发展1. 大数据的发展历程大数据最早起源于20世纪90年代，继个人计算机普及之后互联网的出现，使数据量呈现爆炸式的增长，大数据因此而诞生，开始被学者们所研究。直至今日，大数据仍然处于蓬勃发展的阶段，还有一些问题亟待研究者们去解决。从整个大数据发展历程来看，其可分为以下4个阶段，如右图所示。 2.1.2 大数据的发展（1）萌芽阶段（20世纪90年代到21世纪初）萌芽阶段也被称为数据挖掘阶段。那时的数据库技术和数据挖掘的理论已经成熟，数据的结构类型只有结构化数据，人们把数据储存在数据仓库和数据库里，在需要操作时大多采用离线处理方式，对生成的数据需要集中分析处理。存储数据通常使用物理工具，例如：纸张、胶卷、光盘（CD与DVD）和磁盘等。（2）突破阶段（2003年~2006年）突破阶段也称非结构化数据阶段，该阶段由于非结构化的数据大量出现，使得传统的数据库处理系统难以应对如此庞大的数据量。学者们开始针对大数据的计算处理技术以及不同结构类型数据的存储工具进行研究，以加快大数据的处理速度，增加大数据的存储空间和存储工具的适用性。 2.1.2 大数据的发展（3）成熟阶段（2006年~2009年）在大数据的成熟阶段，谷歌公开发表的两篇论文《谷歌文件系统》和《基于集群的简单数据处理:MapReduce》，其核心的技术包括分布式文件系统（Distributed File System，DFS），分布式计算系统框架MapReduce等引发了研究者的关注。在此期间，大数据研究的焦点主要是算法的性能，云计算，大规模的数据集并行运算算法，以及开源分布式架构（Hadoop）等。数据的存储方式也由以物理存储方式占主导变为由数字化存储方式占主导地位。 2.1.2 大数据的发展（4）应用阶段（2009~至今）大数据基础技术逐渐成熟，学术界及企业界纷纷开始从对大数据技术的研究转向对应用的研究。自2013年开始，大数据技术开始向商业、科技、医疗、政府、教育、经济、交通、物流及社会的各个领域渗透，为各个领域的发展提供了技术上的支持。右图为大数据的7大应用领域。 2.1.2 大数据的发展大数据作为一种重要的资源，随着大数据技术的成熟和发展越来越受到人们的重视。很多企业运用大数据技术改善现有的运营模式或是创新运营模式以提高自身的竞争优势，更好的为人们服务。 在物流领域，大数据技术使物流变得更具“智慧”了，省去了很多机械的人力工作，大大提升了物流系统的效率和效益。在物流企业，大数据的出现使得物品的供需更加匹配，资源的优化和配置更有效率；在汽车行业，“无人汽车”和车联网保险精准定价的出现，让车主可以获得更加贴心的服务；在公共安全领域，借助大数据可以更好、更快地应对突发事件，以保证社会和谐稳定。2. 大数据的应用 2.1.2 大数据的发展大数据在医疗领域也得到了广泛的应用。在研发阶段，大数据的参与可以缩短药品的研发时间，使得对症的药品可以更快的投入使用；在疾病的诊断上，大