PySpark大数据技术与应用 课件 1.1 大数据分析概述.pptx

大数据分析概述;;大数据又被称为海量数据，目前学界对大数据的定义尚未统一。

国际期刊Nature和Science对大数据的贡献：首次正式提出“大数据”这一专有名词，首次综合分析了大数据对人类生活的影响，并详细描述了人类面临的数据困境。

麦肯锡全球研究院的定义：以数据规模是否能够被经典数据库及时处理来定义大数据，认为大数据是指数据规模大小超过经典数据库系统收集、存储、管理和分析能力的数据集。

NIST的定义：具有规模巨大、种类繁多、增长速度快和变化频繁的特征，需要可扩展体系结构来有效存储、处理和分析的广泛数据集。

IBM的定义：大数据的“4V”特性，即Volume（数量）、Variety（多样）、Velocity（速度）和Value（价值），后来又加入了Veracity（真实性），形成了大数据的“5V”特性。

;大数据4V特性

Volume（数量）。当前典型计算机硬盘容量为TB量级，PB是大数据的临界点。据IDC预测，到2025年全球数据量将达到175ZB。

Variety（形式）。数据类型包括结构化数据、半结构化和非结构化数据，如XML、邮件、博客、图片、音频、视频等。多样的数据类型对数据的整合、存储、分析和处理提出了更高要求。

Velocity（处理速度）。现代传感技术、网络技术和计算机技术的发展使得数据的产生、存储、分析和处理的速度非常快。业界对大数据的处理能力有“1秒定律”