Spark基础知识培训教程文件.pptVIP

Spark基础知识 —by 球哥 大数据学习网介绍 我们的网址是： 我们提供专业的大数据学习视频，包括Hadoop，Spark，Storm，Mahout，机器学习等。 我们定价合理，让每个人都学得起大数据。 友情提示 本系列课程主要由Learning.Spark这本书整理而来。 本系列课程主要目的，帮助想要学习Spark的同学入门。 本系列课程中的ppt可自由传播，无需任何授权，但不要用于商业用途哦。 本系列课程中的视频不要自由传播哦，如果同学们觉得课程价格不合理，欢迎在下面的群中反馈，我们会考虑调整价格的。 Spark学习交流群：368770186，371896553 Spark基础知识 Spark下载 Spark的Shells Spark的核心概念 Spark运行环境 Spark 是Scala写的, 运行在JVM上。所以运行环境是Java6或者以上。 如果想要使用 Python API，需要安装Python 解释器2.6版本或者以上。 目前Spark(1.2.0版本) 与Python 3不兼容。 Spark下载 下载地址：/downloads.html，选择Pre-built for Hadoop 2.4 and later 这个包，点击直接下载，这会下载一个spark-1.2.0-bin-hadoop2.4.tgz的压缩包 搭建Spark不需要Hadoop，如果你有hadoop集群或者hdfs，你可以下载相应的版本。 解压：tar -zxvf spark-1.2.0-bin-hadoop2.4.tgz Spark目录 README.md 开始Spark之旅的简单介绍。 bin 包含用来和Spark交互的可执行文件，如Spark shell。 core, streaming, python, … 包含主要组件的源代码。 examples 包含一些有用的单机Spark job。 你可以研究和运行这些例子，来学习Spark API。 Spark的Shells Spark的shell使你能够处理分布在集群上的数据(这些数据可以是分布在硬盘上或者内存中)。 Spark可以把数据加载到工作节点的内存中，因此，许多分布式处理(甚至是分布式的1T数据的处理)都可以在几秒内完成。 上面的特性，使迭代式计算，实时查询、分析一般能够在shells中完成。Spark提供了Python shells和 Scala shells。 Spark的Shells 打开Spark的Python Shell： 到Spark目录，Spark的Python Shell也叫做PySpark Shell bin/pyspark 打开PySpark Shell之后的界面 Spark的Shells 打开Spark的Scala Shell： 到Spark目录 bin/pysparkbin/spark-shell打开Scala版本的shell 打开之后的界面 Spark的Shells 例子： scala val lines = sc.textFile(../../testfile/helloSpark) // 创建一个叫lines的RDD lines: org.apache.spark.rdd.RDD[String] = ../../testfile/helloSpark MappedRDD[1] at textFile at console:12 scala lines.count() // 对这个RDD中的行数进行计数 res0: Long = 2 scala lines.first() // 文件中的第一行 res1: String = hello spark 修改日志级别：conf/perties log4j.rootCategory=WARN, console Spark的核心概念 Driver program： 包含程序的main()方法，RDDs的定义和操作。(在上面的例子中，driver program就是Spark Shell它本身了) 它管理很多节点，我们称作executors。 count()操作解释(每个executor计算文件的一部分，最后合并)。 Spark的核心概念 SparkContext: Driver programs 通过一个 SparkContext 对象访问 Spark，SparkContext 对象代表和一个集群的连接。 在Shell中SparkContext 自动创建好了，就是sc， 例子： sc 变量 sc pyspark.context.SparkContext object at 0x1025b8f90 Spark的核心概念 RDDs： 在Spa