数据科学技术与应用——基于Python实现（第2版）课件 10-大数据技术.pdf

大数据技术

10.1大数据概述

•Vue（规模性）

•数据的存储与计算需要耗费海量规模的资源

•卫星收集的数据达到32PB、新浪微博日活跃人数达到1.65亿人

•Vecity（高速性）

•增长速度快，需要及时处理

•支付宝“双11”夜，0点支付峰值：25.6万笔/秒，上海地铁日

均刷卡：2千万次

•Variety（多样性）

•数据形式多样，半结构化的关系数据、位置、非结构化的文本、

图片、音/视频数据

•信息来源多样，网络数据、企事业单位数据、政府数据、媒体

数据等

•Vaue（高价值性）

•大数据价值总量大

•知识密度低，需要通过数据分析有效地发现其价值

大数据规模

•全球数据产生量迅猛增长

•2018-2020年期间，大数据市场整体收入规模保持每年约70亿

美元的增长，全球大数据市场收入规模2020年达到560亿美元

•大数据、移动互联网、物联网

等产业深入发展

•我国数据产生量

•从2018年的7.6ZB将增至

2025年的48.6ZB

大数据来源

•人类采集记录数据已有数千年历史

•人工采集，纸张记录，数据规模较低

•信息通信技术发展，全球数据产生量迅猛增长

•主要来源

•20世纪70年代，数据库管理系统广泛使用，生产、

生活数据被记录存储

•互联网、Web2.0，自媒体催生大量原创内容

•物联网，传感器感知环境，产生海量数据

大数据影响和安全

•技术层面，推动了分布式并行技术的创新与大规模应用

•催生出云平台、深度计算服务器、数据存储处理服务器、内存

计算等市场

•引发数据快速处理分析技术、数据挖掘技术和软件产品的发展

•社会层面，大数据处理分析成为新一代信息技术融合应

用的结合点，“数据驱动”成为方向

•信息数字化存储，带来大量安全隐患，网络空间安全，

成为新战场

•保障安全，国家立法、严格管控

•全民安全教育

10.1.2大数据技术

•大数据属于数据科学的范畴

•大数据分析遵循数据科学的工作流程，继承数据分析的技术和方法

•当数据量达到特定规模时，需要引入分布式、并行计算、云平台等其他技

术实现大规模数据的存储、计算和传输

数据整合、清洗、降维方法

深度学习等新型分析技术

新型数据库，列存储

非结构化数据存储Nosql数据库

底层，高性能的计算架构

集群，云平台，云存储

大数据基础设施

分布式系统：多台计算机互联为一个系统，通过系统软件提供统一服务

•超级计算机

•服务器集群（a）神威太湖之光处理器核）（b）天河二号（4981760个处理器核）

•高性能计算集群

•负载均衡集群

•高可用性集群

•云计算平台

10.2分布式计算框架

•分布式硬件平台上，为用户开发大数据应用提供分

布式文件存储、分布式计算的编程框架

•开源框架

•Had：分布式文件系统HDFS和分布式计算MaReduce

•Sar：基于内存计算的并行计算框架

•阿里拥有自主研发的飞天大

数据计算引擎