《大数据导论》课件——第二章.pptx

大数据导论

大数据导论Spark基本介绍

目录01什么是Spark02Spark的特点03Spark的重要角色

什么是Spark？Spark是一种基于内存的快速、通用、课扩展的大数据分析引擎。定义：

什么是Spark？

Spark特色通用兼容性快易用

Spark的重要角色把用户程序转为作业(JOB)跟踪Executor的运行状况为执行器节点调度任务UI展示应用运行状况。Driver(驱动器)负责运行组成Spark应用的任务,并将结果返回给驱动器进程通过自身的块管理器(BlockManager)为用户程序中要求缓存的RDD提供内存式存储。Executor(执行器)

下面我们进入Spark部署步骤详解平台搭建操作

sparkstandalone集群模式部署大数据导论

目录sparkstandalone集群模式部署

上传、解压、压缩包前提：jdk环境已完成配置防火墙已关闭zookeeper已完成配置解压spark包到指定的目录tarzxvf包名-C指定路径文件配置（cd/usr/loacl/src/spark/conf/）1.修改文件名spark-env.sh.template为spark-env.sh2.进入spark-env.sh文末添加以下配置exportJAVA_HOME=/usr/local/src/jdkexportSPARK_MASTER_HOST=masterexportSPARK_MASTER_PORT=707

3.修改文件名slaves.template为slaves4.进入slaves添加以下从节点主机名slave01slave02

文件分发，从节点同步以上配置scp-r/usr/local/src/spark/conf/*root@hoat002:/usr/local/src/spark/conf/scp-r/usr/local/src/spark/conf/*root@hoat003:/usr/local/src/spark/conf/启动在sbin目录下执行启动集群 ./start-all.sh启动worker ./start-slave.sh启动master ./start-master.sh

使用主节点ip地址接端口号8080进行访问

sparkHA部署大数据导论

目录sparkHA部署

基于上节课的操作将conf目录下的spark-env.sh文件进行修改注释以下两行代码exportSPARK_MASTER_HOST=masterexportSPARK_MASTER_PORT=7077再添加以下代码exportSPARK_DAEMON_JAVA_OPTS=-Dspark.deploy.recoveryMode=ZOOKEEPER-Dspark.deploy.zookeeper.url=master,slave01,slave02-Dspark.deploy.zookeeper.dir=/spark

文件分发同步以上配置scp-r/usr/local/src/spark/conf/spark-env.shroot@host001:/usr/local/src/spark/conf/scp-r/usr/local/src/spark/conf/spark-env.shroot@host001:/usr/local/src/spark/conf/启动zookeeperzkServer.shstart启动sparkha./start-all.sh

从节点执行start-master.sh

使用主节点ip地址接端口号8080进行访问

Zookeeper组件搭建配置大数据导论

目录Zookeeper组件搭建配置

zookeeper配置解压zookeeper的压缩包到指定的路径下tarzxf/usr/local/src/zookeeper-3.4.5.tar.gz-C/usr/local/src/mvzookeeper-3.4.5zookeeper环境变量配置vi/etc/profileexportZK_HOME=/usr/local/src/zookeeperexportPATH=$PATH:$ZK_HOME/bin执行source/etc/profile生效

Cd/usr/local/src/zookeeper/conf修改文件名zoo_sample.cfg为zoo.cfg在dataDir写入zoopeeker的路径dataDir=/usr/local/src/zookeeper/zk_data/并在文末添加以下配置server.100=master:2888:3888 server.200=sla