Apache Spark DataFrames入门指南：创建.PDF

Apache Spark DataFrames入门指南：创建DataFrame Spark大数据博客 - Apache Spark DataFrames入门指南：创建DataFrame 本系列文章翻译自：《scala data analysis cookbook》第二章：Getting Started with Apache Spark DataFrames。原书是基于Spark 1.4.1编写的，我这里使用的是Spark 1.6.0，丢弃了一些已经标记为遗弃的函数。并且修正了其中的错误。 一、从csv文件创建DataFrame 如何做？ 如何工作的 附录 二、操作DataFrame 打印DataFrame里面的模式 对DataFrame里面的数据进行采样 查询DataFrame里面的列 根据条件过滤数据 对DataFrame里面的数据进行排序 对列进行重命名 将DataFrame看作是关系型数据表 对两个DataFrame进行Join操作 将DataFrame保存成文件 三、从Scala case class中创建DataFrame 如何做？ 如何工作的 附录 一、从csv文件创建DataFrame 本文将介绍如何从csv文件创建DataFrame。 如何做？ 从csv文件创建DataFrame主要包括以下几步骤： 1、在build.sbt文件里面添加spark-csv支持库； 2、创建SparkConf对象，其中包括Spark运行所有的环境信息； 3、创建SparkContext对象，它是进入Spark的核心切入点，然后我们可以通过它创建SQLCo ntext对象； 4、使用SQLContext对象加载CSV文件； 5、Spark内置是不支持解析CSV文件的，但是Databricks公司开发了一个类库可以支持解析C SV文件。所以我们需要把这个依赖文件加载到依赖文件中（pom.xml或者是build.sbt） 如果你是SBT工程，请加入以下依赖到build.sbt文件中： libraryDependencies += com.databricks % spark-csv_2.10 % 1.3.0 1 / 4 Apache Spark DataFrames入门指南：创建DataFrame Spark大数据博客 - 如果你是Maven工程，请加入以下依赖到pom.xml文件中： dependency groupidcom.databricks/groupid artifactidspark-csv_2.10/artifactid version1.3.0/version /dependency 6、SparkConf持有所有运行Spark程序的信息，在这个实例中，我们将以本地的方式运行这 个程序，而且我们打算使用2个核（local[2]），部分代码片段如下： import org.apache.spark.SparkConf val conf = new SparkConf().setAppName(csvDataFrame).setMaster(local[2]) 7、使用SparkConf初始化SparkContext对象，SparkContext是进入Spark的核心切入点： val sc = new SparkContext(conf) 在Spark中查询数据最简单的一种方式就是使用SQL查询，所以我们可以定义一个SQLContext对 象： val sqlContext=new SQLContext(sc) 8、现在我们就可以加载事先准备好的数据了： import com.databricks.spark.csv._ val students=sqlContext.csvFile(filePath=StudentData.csv, useHeader=true, delim