Spark SQL技术平台详解.pdf

技术创新，变革未来 Spark SQL技术平台详解 内容 Spark SQL介绍 Spark SQL API DataFrame开发 Spark SQL示例 Spark SQL优化 Spark SQL是什么 Spark SQL的前生是Shark 基于Spark最佳的SQL计算 专门用于处理结构化数据 支持多种数据源，包括Hive、parquet、orc、 JSON、 RDBMS、RDD等 性能优化上做的很好 使用简单，代码易读 给熟悉SQL的技术人员提供快速访问大数据 的工具 Spark SQL API SQL 与hive类似 有SparkSQL命令行 有thriftserver和beeline客户端 DataFrame DataFrame 可以在spark程序中使用SQL 与RDD类似的分布式数据集，但增加了列的 概念 之前是SchemaRDD 将来是DataSet 其API支持Scala/Java/Python/R SQL与控制语句的结合 DataFrame开发 创建SQLContext对象 生成DataFrame，可来自RDD或其他数据源 执行Transformation ，调用DataFrameAPI或 者通过函数执行sql 执行Action ，返回结果或保存到文件中 DataFrame开发 创建SQLContext对象 // 导入语句，可以隐式地将RDD转化成DataFrame import sqlContext.implicits._ // 首先用SparkContext对象创建SQLContext对象 val sqlContext = new org.apache.spark.sql.SQLContext(sc) DataFrame开发 RDD生成DataFrame //参数名即为列名 case class Employee(id: Int, name: String, age: Int) val rdd = sc.textFile(employee.txt) val df = rdd.map(_.split(,)) .map(e = employee(e(0).trim.toInt, e(1), e(2).trim.toInt)) .toDF() DataFrame开发 import sqlContext.implicits._ val sqlContext = new org.apache.spark.sql.SQLContext(sc) case class Employee(id: Int, name: String, age: Int) val rdd = sc.textFile(employee.txt) val df = rdd.map(_.split(,)) .map(e = employee(e(0).trim.toInt, e(1), e(2).trim.toInt)) .toDF() df.show() df.printSchema() df.select(name).show() df.filter(df(age) 21).show() df.groupBy(age).count().show() DataFrame开发  RDD生成DataFrame  case class方式：通过定义case Class ，使用反射推断 Schema  applySchema方式：通过可编程接口，定义Schema ， 并应用到RDD上 DataFrame读写多种数据源  RDD  JSON  Parquet  JDBC DataFrame SaveMode SaveMode选择  SaveMode.Append ：将新数据追加在原数 据后面  SaveMode.Overwrite ：覆盖原数据  SaveMode.Error