大数据平台部署方案完整版1.docx

PAGE 52 大数据平台部署方案 完整版  目录 TOC \o 1-3 \h \z \u 1. 环境配置 6 主机地址 6 查看服务器硬件环境信息 6 查看操作系统版本和内核 6 关闭防火墙和SELinex 7 所有主机时间同步 7 安装JDK 8 Maven安装 8 配置主机名 10 配置hosts映射 10 新建hadoop用户 10 配置SSH免密码登录 11 2. 安装Zookeeper 12 修改配置文件 12 设置myid 14 启动Zookeeper集群 14 基本命令 15 3. 安装Hadoop 15 NameNode(NN) HA实现方式 15 ResourceManager(RM) HA实现方式 16 Hadoop安装包下载 16 修改配置文件 18 配置Hadoop主目录 18 修改hadoo-env.sh 18 修改core-site.xml 19 修改hdfs-site.xml 20 修改mapred-site.xml 23 修改yarn-site.xml 24 修改slaves 27 将配置好的hadoop安装包分发到其它节点 27 添加hadoop临时文件目录 28 启动Zookeeper集群 28 启动journalnode 28 格式化HDFS 28 在Master1上格式化ZK 29 启动HDFS 29 启动YARN 30 通过web页面查看集群是否已经正常启动 30 4. 安装HBase 32 下载HBase安装包 32 HBase安装 34 解压缩安装包 34 修改hbase-env.sh 35 修改hbase-site.xml 35 修改regionservers 36 添加backup-masters 36 拷贝hbase到其他节点 36 启动HBase 37 5. 安装Hive 38 安装MySQL 38 修改hive配置文件 39 Hive HWI 安装及配置 40 6. Mahout安装 40 下载Mahout源码 40 Mahout0.12.0编译 41 Mahout0.12.0安装部署 41 Mahout验证 41 Mahout0.12.0实例测试 42 7. 安装Spark（Yarn-Cluster模式） 42 安装Scala 42 编译Spark 43 下载Spark源码包： 43 安装maven： 44 Spark编译 44 Spark安装 45 解压缩安装包 45 修改配置文件 45 集群运行模式 47 8. Sqoop安装 48 下载安装 48 修改配置文件 48 启动Sqoop 48 测试Sqoop 49 9. 安装Kafka 51 Kafka安装配置 51 Kafka监控安装 52 10. 安装Storm 53 上传所需文件 53 编译安装ZMQ（所有Storm的安装节点） 53 编译安装JZMQ：（所有Storm的安装节点） 53 编译安装Python（所有Storm的安装节点） 54 修改配置文件 54 启动Storm各个后台进程 55 11. Tachyon编译部署 55 支持多种部署方式 55 编译Tachyon 56 下载并上传源代码 57 编译代码 58 集群模式部署Tachyon 58 集群环境 58 基于Zookeeper的Fault Tolerant Tachyon Cluster 实现 59 Tachyon环境变量 63 Tachyon通用配置 63 TachyonMaster配置 64 TachyonWorker配置 64 用户配置 65 在Spark中使用Tachyon 66 在MapReduce中使用Tachyon 66 12. Hue安装 66 下载编译源码包 66 Hue环境配置 68 HDFS配置 68 Yarn配置 70 Hive配置 71 HBase配置 71 Zookeeper配置 72  环境配置 主机地址 主机地址 用户名 密码 4 root cloud4c 5 root c