(Spark中运行wordcount.docVIP

Spark中运行wordcount Wordcount源码： val hdfsFile = sc.textFile(args(1)) val flatMapRdd = hdfsFile.flatMap(s = s.split( )) val filterRdd = flatMapRdd.filter(_.length == 2) val mapRdd = filterRdd.map(word = (word, 1)) val reduce = mapRdd.reduceByKey(_ + _) 1：首先调用textFile（）函数。 textFile源码：（位于sparkContext中） def textFile(path: String, minPartitions: Int = defaultMinPartitions): RDD[String] = { assertNotStopped() hadoopFile(path, classOf[TextInputFormat], classOf[LongWritable], classOf[Text], minPartitions).map(pair = pair._2.toString).setName(path) } 可以看到该函数的最终返回结果是一个RDD，至于是什么类型的RDD，后面会做出解释。该函数的第一个参数是要加载的文件的路径，第二个参数是Hadoop RDD默认的最小分片数目，为2.函数体是一个hadoopFile函数，第一个参数是文件路径，第二个参数是InputFormat的类型，第三个参数是Mapper的第一个类型，第四个参数是Mapper的第二个类型。第五个参数是Hadoop RDD默认的最小分片数目。下面来看一个hadoopFile这个函数。 1.1 hadoopFile源码： def hadoopFile[K, V]( path: String, inputFormatClass: Class[_ : InputFormat[K, V]], keyClass: Class[K], valueClass: Class[V], minPartitions: Int = defaultMinPartitions ): RDD[(K, V)] = { assertNotStopped() // A Hadoop configuration can be about 10 KB, which is pretty big, so broadcast it. val confBroadcast = broadcast(new SerializableWritable(hadoopConfiguration)) val setInputPathsFunc = (jobConf: JobConf) = FileInputFormat.setInputPaths(jobConf, path) new HadoopRDD( this, confBroadcast, Some(setInputPathsFunc), inputFormatClass, keyClass, valueClass, minPartitions).setName(path) } 可以看到该函数最后的返回结果是一个RDD。主要做的事情包括： 1：将Hadoop的配置文件放在一个广播变量里 2：路径设置的方法 3：new一个Hadoop RDD，所以最后返回的RDD的类型是Hadoop RDD HadoopRDD是什么？ 下面重点看HadoopRDD。核心代码getPartitions、compute、getPreferredLocations getPartitions源码： override def getPartitions: Array[Partition] = { val jobConf = getJobConf() // add the credentials here as this can be called before SparkContext initialized SparkHadoopUtil.get.addCredentials(jobConf) val inputFormat = getInputFormat(jobConf) if (inputFormat.isIn