大数据安装文档讲解.docx

Linux环境设置 /*安装Hadoop集群时要确保以下几个方面 1.本机与虚拟机之间是否可以通信（Ping）。如果不行检查下面 1.1本机防火墙关闭（开启情况是本机可以ping虚拟机，虚拟机不能ping本机） 1.2虚拟机是克隆的情况（按照Linux文档中，修改ip地址等方法） 1.3虚拟机设置--网卡是否是仅主机模式或者桥接模式：仅主机模式需要检查VMware1网卡设置与虚拟机网卡设置是否匹配。桥接模式是为了让虚拟机可以连接外网，只需要改该虚拟机网卡信息即可（网关） 2.虚拟机与虚拟机之间是否可以通信（Ping）。 参考上面检查古城 */ //关闭本机网络管理 # /etc/init.d/NetworkManager stop # chkconfig NetworkManager off //清空和关闭防火墙 # iptables -F # chkconfig iptables off # service iptables save //更改主机名称 # vi /etc/sysconfig/network //更改主机与ip映射 # vi /etc/hosts //安装JDK # tar -xvf jdk-7u79-linux-x64.tar.gz # mv jdk1.7.0_79/ jdk //修改系统环境变量 # vi /etc/profile export JAVA_HOME=/home/bigdata/jdk/ export HADOOP_HOME=/home/bigdata/hadoop/ export HIVE_HOME=/home/bigdata/hive/ export ZOOKEEPER_HOME=/home/bigdata/zookeeper/ export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar: export PATH=$PATH:$JAVA_HOME/bin:/home/bigdata/protoc/bin:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin: //使修改后的系统生效 # source /etc/profile //设置免密码ssh 方式二 选其一 ssh-keygen -t rsa ssh-copy-id -i ~/.ssh/id_rsa.pub master@root ssh-copy-id -i ~/.ssh/id_rsa.pub slave1@root ssh-copy-id -i ~/.ssh/id_rsa.pub slave2@root Hadoop单机安装 单机不需要启动任何服务即可使用，一般只用于调试 # mkdir input # cp etc/hadoop/*.xml input # bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep input output dfs[a-z.]+ # cat output/* Hadoop集群下的伪分布式的安装 //修改core-site.xml文件 #etc/hadoop/core-site.xml configuration property namefs.defaultFS/name valuehdfs://localhost:9000/value /property /configuration //修改hdfs-site.xml文件 #etc/hadoop/hdfs-site.xml configuration property namedfs.replication/name value1/value /property /configuration //格式化文件系统（安装Hadoop后只需执行一次格式化） bin/hdfs namenode -format //开启NameNode进程和DataNode进程 sbin/start-dfs.sh //检查Hadoop进程 #jps //通过浏览页面查看NameNode和Datanode 1:50070/ //创建运行MapReduce job所需的HDFS目录: #bin/hdfs dfs -mkdir /user //拷贝输入文件到分布式文件系统（上传） # bin/hdfs dfs -put etc/hadoop input //