spark分享讲义.pptVIP

PPT模板下载：/moban/ DataFrame操作 1.展示 DataFrame 的内容 df.show() // age name // null Michael // 30 Andy // 19 Justin 2.展示所有人，但所有人的 age 都加1 df.select(df(name), df(age) + 1).show() // name (age + 1) // Michael null // Andy 31 // Justin 20 3.计算各个年龄的人数 df.groupBy(age).count().show() // age count // null 1 // 19 1 // 30 1 PPT模板下载：/moban/ DataFrame操作 SQL操作： 1.首先把DataFrame注册为临时表 df.registerTempTable(people) 2. HiveContext.sql执行SQL查询，并返回DataFrame,语法与Hql一致 val teenagers = hiveContext.sql(SELECT name, age FROM people WHERE age = 13 AND age = 19) 保存DataFrame： 1，保存为指定的格式 df.select(“name”, “favorite_color”).write.mode(“overwrite”). format(parquet).save(FavColors.parquet) df.select(“name”, “favorite_color”).write.mode(“overwrite”). parquet(FavColors.parquet) 2.保存为hive表 调用saveAsTable方法，将数据保存成持久化的表 Scala/Java 所有语言 解释 SaveMode.ErrorIfExists? error 如果数据已经存在，则抛异常。(默认) SaveMode.Append append 如果数据或表已经存在，则将DataFrame的数据追加到已有数据的尾部。 SaveMode.Overwrite overwrite 如果数据或表已经存在，则用DataFrame数据覆盖之。 SaveMode.Ignore ignore 如果数据已经存在，那就放弃保存DataFrame数据。 PPT模板下载：/moban/ 和RDD互操作 Spark SQL有两种方法将RDD转为DataFrame: 1.使用反射机制，推导包含指定类型对象RDD的schema。 2.编程方式构建一个schema，然后应用到指定RDD上。 利用反射推导schema: // 定义一个case class. case class Person(name: String, age: Int) // 创建一个包含Person对象的RDD，并将其注册成table val people = sc.textFile(examples/src/main/resources/people.txt) .map(_.split(,)).map(p = Person(p(0), p(1).trim.toInt)).toDF() people.registerTempTable(people) // sqlContext.sql方法可以直接执行SQL语句 val teenagers = sqlContext.sql(SELECT name, age FROM people WHERE age = 13 AND age = 19) Python: From pyspark.sql import SQLContext,Row Lines=sc.textFile(“examples/src/main/resources/people.txt”) Parts=lines.map(lambda l: l.split(“,”)) People=parts.map(lambda p:Row(name=p[0],age=int(p[1]))) schemaPeople=sqlContext.createDataFrame(people) schemaPeople.registerTempTable(“people”) PPT模板下载：/moban/ 和RDD互操作 编程方式定义Schema: 1.从已有的RDD创建一个包含Row对象的RDD 2.用StructType创建一个schema，和步骤1中创建的RDD的结构相匹配 3.把得到的sche