Spark、Hadoop大数据平台搭建.pdfVIP

Spark、Hadoop⼤数据平台搭建 下载安装包 Spark 分布式计算 ，安装包⼤⼩ ：220M ⽀持 adoop 2.7以后的版本 Scala Scala环境，Spark的开发语⾔ ，安装包⼤⼩ ：20M adoop 分布式存储 （计算） ，安装包⼤⼩ ：209M Java Java环境 ，安装包⼤⼩ ：187M ZooKeeper 注册中⼼ ，安装包⼤⼩ ：36M 配置 ⾸先需要配置环境变量 环境变量 打开并编辑 ~/ .bashrc ⽂件，在末尾添加以下内容 ： # j ava JAVA_ HOME=/opt/jdk1.8.0_ 192 e port PAT H=$PAT H:$JAVA_ HOME/bin # hadoop HADOOP_ HOME=/opt/hadoop-2.7.7 e port PAT H=$PAT H:$HADOOP_ HOME/bin # zookeep er ZOOKEEPER_ HOME=/opt/zookeeper-3.4.13 e port PAT H=$PAT H:$ZOOKEEPER_ HOME/bin # scala SCALA_ HOME=/opt/scala-2.12.8 e port PAT H=$PAT H:$SCALA_ HOME/bin # spark SPARK_ HOME=/opt/spark-2.3.2-bin-hadoop2.7 e port PAT H=$PAT H:$SPARK_ HOME/bin Host 这⾥需要设置 ost，⼀个是 adoop的Name-Node、Data-Node，⼀个spark的Master、Worker。 # hadoop 51 name-node 55 data-node-sa 56 data-node-sb 57 data-node-sc spark conf/slaves worker-sa worker-sb worker-sc 待补充 。。。 hadoop etc/hadoop/slaves data-node-sa data-node-sb data-node-sc Python3安装 安装pyspark cd /opt/spark-2.3.2-bin-hadoop2.7/python python36 setup.py install 安装numpy pip3 install numpy -i /simple/ --trusted-host 启动停⽌ hadoop sbin/start-all.sh sbin/stop-all.sh spark sbin/start-all.sh sbin/stop-all.sh 执⾏任务 提交任务 spark-submit --master spark://name-node:7077 --e ecutor-memory 512m --total-e ecutor-cores 2 client.py ⼏个管理页 Spark adoop 测试数据