基于docker搭建sparkonyarn及可视化桌面.docxVIP

PAGE  PAGE 19 基于docker大数据集群搭建技术手册  TOC \o 1-3  一、 简介  PAGEREF _Toc313106080 \h 2 二、 docker搭建  PAGEREF _Toc313106081 \h 3 1. docker搭建  PAGEREF _Toc313106082 \h 3 2. weave搭建  PAGEREF _Toc313106083 \h 3 三、 hadoop集群镜像搭建  PAGEREF _Toc313106084 \h 4 1. 搭建准备  PAGEREF _Toc313106085 \h 4 2. hadoop部署  PAGEREF _Toc313106086 \h 4 3. 扩展：HA部署  PAGEREF _Toc313106087 \h 11 4. 扩展：namenode的手动删除  PAGEREF _Toc313106088 \h 11 四、 集群部署与启动  PAGEREF _Toc313106089 \h 11 1. docker搭建master和slave集群  PAGEREF _Toc313106090 \h 11 2. weave设置ip地址  PAGEREF _Toc313106091 \h 12 3. 服务启动：  PAGEREF _Toc313106092 \h 12 五、 基于ambari管理平台的镜像搭建  PAGEREF _Toc313106093 \h 14 1. 部署准备  PAGEREF _Toc313106094 \h 14 2. 私库配置  PAGEREF _Toc313106095 \h 14 3. ambari-server安装  PAGEREF _Toc313106096 \h 14 4. ambari-client安装  PAGEREF _Toc313106097 \h 16 5. ambari管理  PAGEREF _Toc313106098 \h 17 六、 桌面系统XFCE搭建  PAGEREF _Toc313106099 \h 17 七、 附录  PAGEREF _Toc313106100 \h 18  简介 大数据集群部署依托于docker，组建虚拟集群，机组间通过weave搭建互通网络环境，如图1： hbase 3 Nodejs 2 Hadoop Hadoop weave 其他 … mongo 4 其他 … tomcat 物理机 32 物理机 31 docker docker 图1 hadoop集群搭建YARN平台，基于HDFS。在YARN基础上搭建SPARK进行业务处理，如图2： 图2 环境版本： Ubuntu 14.04 jdk:1.7 docker:1.9.1 hadoop-2.6.0-cdh5.5.0 scala-2.11.7 spark-1.5.0-bin-hadoop2.6.tgz zookeeper-3.4.5-cdh5.5.0 下载地址见附录1 注：集群部署所有权限都为root，请以root权限登陆启动服务 docker搭建 docker搭建 # apt-get install software-properties-common # apt-get install python-software-properties?# add-apt-repository ppa:dotcloud/lxc-docker # apt-get update # apt-get install lxc-docker # docker pull ubuntu:14.04 # docker?run?-i?-t?ubuntu:14.04?/bin/bash weave搭建 # sudo wget -O /usr/local/bin/weave  HYPERLINK /zettio/weave/master/weave /zettio/weave/master/weave # sudo chmod a+x /usr/local/bin/weave # weave launch hadoop集群镜像搭建 搭建准备 进入新建的一个docker实例，将上述软件包下载并解压到/opt/目录下，各软件包安装路径如下 hadoop: /opt/yarn/hadoop-2.6.0-cdh5.5.0 spark: /opt/spark-1.5.0-cdh5.5.0 scala: /opt/scala-2.11.7 hadoop部署 配置jdk等环境变量: #vim /etc