01_尚硅谷大数据技术之Spark入门（V5.0）.docxVIP

尚硅谷大数据技术之Spark入门 ————————————————————————————— 更多Java –大数据 –前端 –python人工智能资料下载，可百度访问：尚硅谷官网 PAGE 31 尚硅谷大数据技术之Spark入门 （作者：尚硅谷研究院） 版本：V5.0 第1章 Spark概述 1.1 什么是Spark 回顾：Hadoop主要解决，海量数据的存储和海量数据的分析计算。 Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 1.2 Hadoop与Spark历史 Hadoop的Yarn框架比Spark框架诞生的晚，所以Spark自己也设计了一套资源调度框架。 1.3 Hadoop与Spark框架对比 1.4 Spark内置模块 Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Resilient Distributed DataSet，简称RDD)的API定义。 Spark SQL：是Spark用来操作结构化数据的程序包。通过Spark SQL，我们可以使用 SQL或者Apache Hive版本的HQL来查询数据。Spark SQL支持多种数据源，比如Hive表、Parquet以及JSON等。