大数据仓库与挖掘平台.pptx

深入潜出Spark什么是Spark不是一款修改过的HadoopOpen Source是一款独立的，高速的，开源的分布式计算引擎内存计算模式Resilient Distributed Datasets比Hadoop 快40倍以上（有些情况下-）Spark生态系统Spark 企业级应用Spark 企业级应用京东Spark 企业级应用京东Spark 部署模式local-cluster[N, cores, memory]：本地伪集群模式spark:// ：Spark的Standalone模式(mesos|zk)://：这是Mesos模式yarn-standalone\yarn-cluster\yarn-client：这是YARN模式。前面两种代表的是集群模式；后面代表的是客户端模式simr://，在MapReduce 1中使用SparkStandalone独立模式，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统Spark On Mesos模式Spark On YarnYarn架构Spark开发环境EclipseIntelliJ IDEA ScalaPythonJavaSpark应用程序提交与运行-spark-shellspark-shellSpark Shell是一个常驻内存的Spark Job可以通过 spark-shell --master 指定spark-she