SparkSQL预研.doc

SparkSQL预研 说明 本文档不涉及Spark SQL使用的具体操作演示讲解，文档内容格式没有做标准化，不作为正式文档对外发布。本文档会随着对SparkSQL研究的深入持续更新。 文档内容大部分是基于官方文档的理解翻译，如有错误之处，请不吝赐教。 参考官网地址：/sql/ Java API SparkConf sparkConf = new SparkConf().setAppName(JavaSparkSQL); JavaSparkContext ctx = new JavaSparkContext(sparkConf); SQLContext sqlContext = new SQLContext(ctx); Spark SQL CLI 描述 Sparksql cli 是一个转换工具，在本地模式下，它会将通过命令行的输入转换为Hive metastore service来运行。特别注意：spark sql cli 无法与Thrift JDBC server连接。只能通过beeline方式连接。 启动Spark SQL CLI 将hive的配置文件hive-site.xml放到$spark_home的conf/下。 在spark的spark-env.sh中加入如下配置 export HADOOP_CONF_DIR=/usr/local/hadoop-2.