Apache CarbonData集群模式使用指南.PDF

Apache CarbonData集群模式使用指南 Spark大数据博客 - Apache CarbonData集群模式使用指南 我们在 《Apache CarbonData快速入门编程指南》文章中介绍了如何快速使用Apache CarbonData，为了简单起见，我们展示了如何在单机模式下使用Apache CarbonData。但是生产 环境下一般都是使用集群模式，本文主要介绍如何在集群模式下使用Apache CarbonData。 启动Spark shell 这里以Spark shell模式进行介绍，master为yarn-client，启动Spark shell如下： [iteblog@ ~]$ cd ${SPARK_HOME} [iteblog@ ~]$ carbondata_jar=./lib/$(ls -1 lib |grep ^carbondata_.*\.jar$) [iteblog@ ~]$ mysql_jar=./lib/$(ls -1 lib |grep ^mysql.*\.jar$) [iteblog@ ~]$ ./bin/spark-shell --master yarn-client \ --jars ${carbondata_jar},${mysql_jar} \ --num-executors 2 \ --executor-cores 1 \ --executor-memory 5G \ --queue iteblog 上面命令将会以Client模式启动shell。 创建CarbonContext实例 启动完Spark Shell之后，接下来就是来初始化CarbonContext实例了，这个和 《Apache CarbonData快速入门编程指南》里面类似： /** * User: 过往记忆 * Date: 2016年07月07日 * Time: 下午20:49 * bolg: * 本文地址：/archives/1703 * 过往记忆博客，专注于hadoop、hive、spark、shark、flume的技术博客，大量的干货 * 过往记忆博客微信公共帐号：iteblog_hadoop */ import org.apache.spark.sql.CarbonContext import org.apache.hadoop.hive.conf.HiveConf val storePath = /user/iteblog/store/ 1 / 5 Apache CarbonData集群模式使用指南 Spark大数据博客 - val cc = new CarbonContext(sc, storePath) cc.setConf(carbon.kettle.home,./carbondata/carbonplugins) cc.setConf(hive.metastore.warehouse.dir, /user/iteblog/metadata/) cc.setConf(HiveConf.ConfVars.HIVECHECKFILEFORMAT.varname, false) 创建表 现在我们已经创建好CarbonContext实例了，可以使用它创建表： cc.sql(create table if not exists iteblog (id string, hash string) STORED BY org.apache.carbond ata.format) 加载数据 /** * User: 过往记忆 * Date: 2016年07月07日 * Time: 下午20:49 * bolg: * 本文地址：/archives/