Spark编程实践Spark编程实践.docx

1实验目的 (1)掌握使用Spark 访问本地文件和HDFS 文件的方法 (2)掌握 Spark 应用程序的编写、编译和运行方法 2 实验平台 (1)操作系统： Ubuntu18.04; (2)Spark 版本：2.4.0: (3)Hadoop 版本：3.1.3。 3 实验内容和要求 3.1 Spark 读取文件系统的数据 (1)在 spark-shell 中读取Linux系统本地文件“/home/hadoop/test.txt”, 然后统计出文 件的行数； 首先启动 spark-shell进入 Spark-shell模式： (进入spark 目录下后输入命令 bin/spark-shell 启动spark-shell模式)然后加载text文件 (spark 创建sc, 可以加载本地文件和HDFS 文件 创建 创建RDD) scala linewithspark.count() res3:Long =0 scalas scala val textFile = sc.textFile(file:///home/hadoop/test.txt) textFile: org.apache.spark.rdd.RDD[String]= file:///home/hadoop/test.txt titionsRDD[4] at textFile at console:24 scala val linewithspark = textFile.filter(line = line.contains(Spark)) linewithspark: org.apache.spark.rdd.RDD[String]= MapPartitionsRDD[5] at f at console:26 (2)在 spark-shell 中读取 HDFS 系统文件“/user/hadoop/test.txt”(如果该文件不存在， 请先创建),然后，统计出文件的行数； 加载 text文件 (spark 创建sc, 可以加载本地文件和HDFS 文件创建RDD) 小红87 scala scala val textFile = sc.textFile(hdfs:///user/hadoop/test.txt) textFile: org.apache.spark.rdd.RDD[String]= hdfs:i/er/hadocp/test.txt titionsRDD[7] at textFile at console:24 scala val linewithspark = textFile.filter(line = line.contains(Spark) Linewithspark: org.apache.spark.rdd.RDD[String]= MapPartitionsRDD[8] at at console:26 scala linewithspark.count() res4: Long =0 scala ( 3 ) 编 写 独 立 应 用 程 序 ( 推 荐 使 用 Scala语 言 ) , 读 取 HDFS 系 统 文 件 “/user/hadoop/test.txt” (如果该文件不存在，请先创建),然后，统计出文件的行数；通 过sbt工具将整个应用程序编译打包成 JAR 包，并将生成的JAR 包通过 spark-submit 提交 到 Spark 中运行命令。 import org.apache.spark.SparkContext import org.apache.spark.SparkContext. import org.apache.spark.SparkConf object SimpleApp { def main(args: Array[String]){ val logFile =hdfs://localhost:9000/user/hadoop/test.txt val conf = new SparkConf().setAppName(Simple Application) val sc = new SparkContext(conf) val logData = sc.textFile(logFile, 2)