大学计算机教程-第5章 大数据.pptxVIP

第五章大数据

5.1大数据的概念

5.1.1大数据定义

ViktorMayer-Schonberger（维克托·迈尔-舍恩伯格）和KennethCukier（肯尼斯·克耶）在《大数据时代》（BigData:ARevolutionThatWillTransformHowWeLive,Work,andThink）一书中写道：大数据不用随机分析法（抽样调查）这样的捷径，对所有数据进行分析处理。

麻省理工学院的CesarA.Hidalgo博士认为大数据是指规模大、内容多、富有深度的数据集。

维基百科的定义为：大数据（Bigdata），又称为巨量资料，指的是传统数据处理应软件不足以处理它们的大或复杂的数据集的术语。大数据也可以定义为来自各种来源的大量非结构化和结构化数据。

具有不同价值观、应用背景、技术背景及思维方式的不同角色，对于大数据的理解都有属于自己角色特点的大数据定义。但比较认同的理解是：大数据是大到无法通过人工在合理时间内截取、管理、处理并整理成为人类所能解读的信息。

5.1.2大数据特征

1、是数据体量巨大

2、是数据类别大和类型多样

3、是处理速度快

4、是价值真实性高和密度低

5.2大数据发展历史

萌芽阶段：

20世纪90年代到21世纪的样子，数据库技术成熟，数据挖掘理论成熟，也称数据挖掘阶段。

突破阶段：

2003——2006年，非结构化的数据大量出现，传统的数据库处理难以应对，也称非结构化数据阶段。

成熟阶段

2006——2009年，谷歌公开发表两篇论文《谷歌文件系统》和《基于集群的简单数据处理:MapReduce》，其核心的技术包括分布式文件系统GFS，分布式计算系统框架MapReduce，分布式锁Chubby，及分布式数据库BigTable，这期间大数据研究的焦点是性能，云计算，大规模的数据集并行运算算法，以及开源分布式架构（Hadoop)

应用阶段：

2009年至今，大数据基础技术成熟之后，学术界及及企业界纷纷开始转向应用研究，2013年大数据技术开始向商业、科技、医疗、政府、教育、经济、交通、物流及社会的各个领域渗透，因此2013年也被称为大数据元年。

5.3大数据相关技术

5.3.1大数据采集

数据采集环节关注数据在哪里以及如何获得数据，其主要职能是：从潜在数据源中获取数据并进行面向后续数据存储与管理以及数据分析与建模的预处理。

数据预处理主要包括以下几个主要操作：

1．清洗过滤。

2.去重

3．建立数据的连接。

4．特征化提取。

5．标签化操作。

5.3.2大数据存储

数据存储关注数据在哪里以及如何透明存取。

毋庸置疑，物理上，数据一定是存在本地或异地磁盘上。数据的存储一般分为集中式和分布式，相比较于集中式存储，分布式存储在数据并发、负载均衡、数据安全等方面具有优势。在大数据时代，不同的应用领域在数据类型、数据处理方式以及数据处理时间的要求上有极大的差异，适合大数据环境的新型数据库，如NoSQL得到了广泛的关注。NoSQL数据库抛弃了关系模型并能够在集群中运行，不用事先修改结构定义也可以自由添加字段，这些特征决定了NoSQL技术非常适用于大数据环境，从而得到了迅猛的发展和推进。

数据的存取的核心问题是：如何高效快速地读取数据，即查询快；如何高效快速地存储数据，即更新快。这两个目标往往存在冲突，因此为了保障数据存取的高效，“实时+批处理”往往是常用的一种策略。

5.3.3大数据分析

数据建模与分析环节关注如何建模数据，便于人们发现数据背后的知识和洞见，实现“数据到价值”的飞跃，该环节是大数据项目开展的核心。

一般的流程：

数据预处理

特征提取与选择

数据建模

5.3.4云计算

大数据离不开云处理，云处理为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一。

在很多技术储备均得以迅猛发展的基础上，基于SOC/SOA（Service-OrientedComputing/Service-OrientedArchitecture）框架的云计算（CloudComputing）应用模式受到了越来越广泛的关注，并且其普及度也在逐步深入，这种应用模式满足了需求：厂商将硬件资源（服务器、存储、CPU、带宽等）和软件资源（应用软件、集成开发环境等）以服务的形式按需分配给用户，用户仅需支付服务费而无需如从前一样购买基础设施和应用软件授权等。

云计算的本质是一种基于互联网的应用模式。从整体上看，大数据与云计算是相辅相成的，大数据着眼于“数据”，聚焦于具体的业务，关注“数据价值”的过程，看中的是信息积淀。云计算着眼于“计算”，聚焦于IT解决方案，关注IT基础架构，看中的是计算能力（包括数据处理能力及系统部署能力）。没有云计算的处理能力，大数据的信息积淀再丰富，也难以甚至无