大数据环境搭建.pdfVIP

本文记录 zookeeper+hadoop+hbase+kafka+storm 集群的搭建过程。 准备工作 1. 硬件环境 3 台物理主机 91 – dc01 92 – dc02 93 – dc03 系统全部 Ubuntu16.04 2. 软件环境 1) jdk1.8.0_121 2) zookeeper-3.4.10 3) hadoop-2.6.5 4) hbase-1.2.6 5) kafka_2.11- 6) apache-storm-1.1.0 jdk 的安装在此不做赘述，有疑问可自行百度。 3. 设置主机名 三台机器都需设置，后面所有操作都通过主机名连接。 sudo gedit /etc/sysconfig/network ip 91 的机器修改为如下内容： NETWORKING=yes HOSTNAME=dc01 其他两台机器分别设置 dc02 和 dc03。 4. 修改 host 文件 sudo gedit /etc/hosts 在末尾追加如下内容： 91 dc01 92 dc02 93 dc03 三台机器做相同操作。 5. 设置 ssh 免密码登录 以dc01 为例，执行以下命令 1. sssh-keygen -t rsa 2. # 连续三次回车,即在本地生成了公钥和私钥,不设置密码 3. ssh-copy-id dc01 4. # 按提示输入 dc01 的密码 5. ssh-copy-id dc02 6. # 按提示输入 dc02 的密码 7. ssh-copy-id dc03 8. # 按提示输入 dc03 的密码 dc02 和 dc03 重复 dc01 的操作，设置完成后任意两台机器之间不需要密 码可直接登录，例如从 dc01 登录到 dc03,只需在 dc01 输入”ssh dc03” 即可。 开始安装 所有软件安装目录 /usr/local/ 安装 zookeeper 下载 zookeeper 安装文件 zookeeper-3.4.10.tar.gz 到/usr/local/下 执行以下命令： #解压文件 tar -zxvf zookeeper-3.4.10.tar.gz #修改文件夹名称 mv zookeeper-3.4.10 zookeeper cd zookeeper/ #zookeeper配置文件名 zoo.cfg cp conf/zoo_sample.cfg conf/zoo.cfg  7 编辑 zoo.cfg vim conf/zoo.cfg 修改后文件内容如下： # The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that can pass between # sending a request and getting an acknowledgement syncLimit=5 # the directory where the snapshot is stored. # do not use /tmp for storage, /tmp here is just # example sakes. dataDir=/usr/local/zookeeper/data dataLogDir=/usr/local/zookeeper/log # the port at which the clients will connect clientPort=2181 # the