PySpark大数据技术与应用 课件 1.3 PySpark大数据分析.pptx

PySpark大数据分析;;Python在数据分析和机器学习领域拥有丰富的库资源，如NumPy、SciPy、Pandas和Scikit-learn等，因此成为数据科学家和数据分析师处理和分析数据的热门语言。

Spark是目前处理和使用大数据的主流框架之一，其设计初衷是加速迭代计算，非常适合大数据分析、机器学习等应用场景。为了兼顾Spark和Python的优势，ApacheSpark开源社区推出了PySpark。

与原生Python相比，PySpark的优势在于其能够运行在集群上，而不仅仅局限于单机环境。

因此，当数据量过大以至于单机无法处理，或数据存储在HDFS中，或需要进行分布式/并行计算时，可以选择使用PySpark。

;;PySpark组成

一组公共类

处理结构化数据的SQL模块

处理流数据的Streaming模块

机器学习的MLlib和ML两个包;PySpark核心类

PySpark的核心类组成：公共类中的SparkContext、RDD；pyspark.streaming模块中的StreamingContext、DStream；pyspark.sql模块中的SparkSession、DataFrame

;PySpark中11个公共类：Accumulator、Broadcast、RDD、SparkConf、SparkContext、SparkFiles、StorageL