DataFrames,Datasets和SQL.PDFVIP

DataFrames，Datasets 和 SQL 概述 原文链接 : /docs/latest/sql- SQL programming-guide.html Datasets 和 DataFrames 入门指南 译文链接 : http://www.apache.wiki/pages/viewpag 起始点 : SparkSession e.action?pageId=2883736 创建 DataFrames 无类型 Dataset 操作（aka DataFrame 操作） 贡献者 : 未知用户 (wulei) ，风轻云淡 ，ping ，Tiny_su 以编程的方式运行 SQL 查询 n ，geekidentity ，那伊抹微笑 创建 Datasets RDD 的互操作性 使用反射推断 Schema 以编程的方式指定 Schema 数据源 通用的 Load/Save 函数 手动指定选项 直接在文件上运行 SQL 保存模式 保存为持久化的表 Parquet 文件 以编程的方式加载数据 分区发现 Schema 合并 Hive metastore Parquet 表转换 Hive/Parquet Schema Reconciliation Metadata 刷新 配置 JSON Datasets Hive 表 与不同版本的 Hive Metastore 交互 JDBC 连接其它数据库 故障排除 性能调优 缓存数据到内存 其它配置选项 分布式 SQL引擎 运行 Thrift JDBC/ODBC server 运行 Spark SQL CLI 迁移指南 从 Spark SQL 1.6 升级到 2.0 从 Spark SQL 1.5 升级到 1.6 从 Spark SQL 1.4 升级到 1.5 从 Spark SQL 1.3 升级到 1.4 数据帧的数据读/写器接口 DataFrame.groupBy 保留分组列 在 DataFrame.withColumn 中的改变 从 Spark SQL 1.0~1.2 升级到 1.3 重命名 SchemaRDD 到 DateFrame 在 Java 和 Scala API 的统一