SparkSQL数据加载和保存实战资料.pdfVIP

Spark SQL 数据加载和保存实战 一：前置知识详解： Spark SQL 重要是操作 DataFrame ，DataFrame 本身提供了 save 和 load 的操作， Load ：可以创建 DataFrame ， Save ：把 DataFrame 中的数据保存到文件或者说与具体的格式来指明我们要读取的文件的类型以及与具 体的格式来指出我们要输出的文件是什么类型。 二： Spark SQL 读写数据代码实战： import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.function.Function; import org.apache.spark.sql.*; import org.apache.spark.sql.types.DataTypes; import org.apache.spark.sql.types.StructField; import org.apache.spark.sql.types.StructType; import java.util.ArrayList; import java.util.List; public class SparkSQLLoadSaveOps { public static void main(String[] args) { SparkConf conf = new SparkConf().setMaster(local).setAppName(SparkSQLLoadSaveOps); JavaSparkContext sc = new JavaSparkContext(conf); SQLContext = new SQLContext(sc); /** * read() 是 DataFrameReader 类型， load 可以将数据读取出来 */ DataFrame peopleDF = sqlContext.read().format(json).load(E:\\Spark\\Sparkinstanll_package\\Big_Data_Software\\spa rk-1.6.0-bin-hadoop2.6\\examples\\src\\main\\resources\\people.json); /** * 直接对 DataFrame 进行操作 * Json: 是一种自解释的格式，读取 Json 的时候怎么判断其是什么格式？ * 通过扫描整个 Json 。扫描之后才会知道元数据 */ // 通过 mode 来指定输出文件的是 append 。创建新文件来追加文件 peopleDF.select(name).write().mode(SaveMode.Append).save(E:\\personNames); } } 读取过程源码分析如下： 1. read 方法返回 DataFrameReader ，用于读取数据。 /** * :: Experimental :: * Returns a [[DataFrameReader]] that can be used to read data in as a