开源大数据平台部署方案（ word 版）.docxVIP

PAGE PAGE 10 开源大数据平台部署方案 目录 环境配置 5 主机地址 5 查看服务器硬件环境信息 5 查看操作系统版本和内核 5 关闭防火墙和 SELinex. 6 所有主机时间同步 6 安装 JDK 7 Maven 安装 8 配置主机名 9 配置 hosts 映射 1. 0 新建 hadoop 用户 10 配置 SSH 免密码登录 10 安装 Zookeeper 12 修改配置文件 12 设置 myid 14 启动 Zookeeper 集群 14 基本命令 15 安装 Hadoop 15 NameNode(NN) HA 实现方式 1. 5 ResourceManager(RM) HA 实现方式 16 Hadoop 安装包下载 16 修改配置文件 18 配置 Hadoop 主目录 18 修改 hadoo-env.sh 18 修改 core-site.xml 19 修改 hdfs-site.xml 20 修改 mapred-site.xml 24 修改 yarn-site.xml 24 修改 slaves 2. 8 将配置好的 hadoop 安装包分发到其它节点 28 添加 hadoop 临时文件目录 28 启动 Zookeeper 集群 29 启动 journalnode 29 格式化 HDFS 2. 9 在 Master1 上格式化 ZK 30 启动 HDFS 3. 0 启动 YARN 31 通过 web 页面查看集群是否已经正常启动 31 安装 HBase 32 下载 HBase 安装包 32 HBase 安装 35 解压缩安装包 35 修改 hbase-env.sh 36 修改 hbase-site.xml 3. 7 修改 regionservers 37 添加 backup-masters 3. 8 拷贝 hbase 到其他节点 3. 8 启动 HBase 38 安装 Hive 39 安装 MySQL 3. 9 修改 hive 配置文件 41 Hive HWI 安装及配置 42 Mahout 安装 42 下载 Mahout 源码 42 Mahout0.12.0 编译 43 Mahout0.12.0 安装部署 43 Mahout 验证 44 Mahout0.12.0 实例测试 44 安装 Spark（Yarn-Cluster 模式） 45 安装 Scala 4. 5 编译 Spark. 45 下载 Spark 源码包： 46 安装 maven： 46 Spark 编译 47 Spark 安装 47 解压缩安装包 47 修改配置文件 47 集群运行模式 50 Sqoop 安装 50 下载安装 50 修改配置文件 51 启动 Sqoop 51 测试 Sqoop 52 安装 Kafka 54 Kafka 安装配置 54 Kafka 监控安装 55 安装 Storm 56 上传所需文件 56 编译安装 ZMQ（所有 Storm 的安装节点） 56 编译安装 JZMQ：（所有 Storm 的安装节点） 57 编译安装 Python（所有 Storm 的安装节点） 57 修改配置文件 58 启动 Storm 各个后台进程 58 Tachyon 编译部署 59 支持多种部署方式 59 编译 Tachyon 6. 0 下载并上传源代码 61 编译代码 62 集群模式部署 Tachyon 6. 2 集群环境 62 基于 Zookeeper 的 Fault Tolerant Tachyon Cluster 实现 63 Tachyon 环境变量 67 Tachyon 通用配置 67 TachyonMaster 配置 68 TachyonWorker配置 69 用户配置 69 在 Spark 中使用 Tachyon 7. 0 在 MapReduce 中使用 Tachyon 7. 0 Hue 安装 70 下载编译源码包 70 Hue 环境配置 7. 2 HDFS 配置 7. 3 Yarn 配置 75 Hive 配置 76 HBase 配置 76 Zookeeper 配置 76 1.环境配置 主机地址 主机地址 用户名 密码 4 root cloud4c 5 root cloud4c 6 root cloud4c 7 root cloud4c 8 root cloud4c 查看服务器硬件环境信息 查看CPU 型号： cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq–c 查看物理CPU 颗数： cat /proc/