大数据安的装文档.docx

Linux环境设置/*安装Hadoop集群时要确保以下几个方面1.本机与虚拟机之间是否可以通信（Ping）。如果不行检查下面1.1本机防火墙关闭（开启情况是本机可以ping虚拟机，虚拟机不能ping本机）1.2虚拟机是克隆的情况（按照Linux文档中，修改ip地址等方法）1.3虚拟机设置--网卡是否是仅主机模式或者桥接模式：仅主机模式需要检查VMware1网卡设置与虚拟机网卡设置是否匹配。桥接模式是为了让虚拟机可以连接外网，只需要改该虚拟机网卡信息即可（网关）2.虚拟机与虚拟机之间是否可以通信（Ping）。参考上面检查古城*///关闭本机网络管理# /etc/init.d/NetworkManager stop# chkconfig NetworkManager off//清空和关闭防火墙# iptables -F# chkconfig iptables off# service iptables save//更改主机名称# vi /etc/sysconfig/network//更改主机与ip映射# vi /etc/hosts//安装JDK# tar -xvf jdk-7u79-linux-x64.tar.gz# mv jdk1.7.0_79/ jdk//修改系统环境变量# vi /etc/profileexport JAVA_HOME=/home/bigdata/jdk/export HADOOP_HOME=/home/bigdata/hadoop/export HIVE_HOME=/home/bigdata/hive/export ZOOKEEPER_HOME=/home/bigdata/zookeeper/export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:export PATH=$PATH:$JAVA_HOME/bin:/home/bigdata/protoc/bin:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin://使修改后的系统生效# source /etc/profile//设置免密码ssh 方式二选其一ssh-keygen -t rsassh-copy-id -i ~/.ssh/id_rsa.pub master@rootssh-copy-id -i ~/.ssh/id_rsa.pub slave1@rootssh-copy-id -i ~/.ssh/id_rsa.pub slave2@rootHadoop单机安装单机不需要启动任何服务即可使用，一般只用于调试 # mkdir input # cp etc/hadoop/*.xml input # bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep input output dfs[a-z.]+ # cat output/*Hadoop集群下的伪分布式的安装//修改core-site.xml文件#etc/hadoop/core-site.xmlconfiguration property namefs.defaultFS/name valuehdfs://localhost:9000/value /property/configuration//修改hdfs-site.xml文件#etc/hadoop/hdfs-site.xmlconfiguration property namedfs.replication/name value1/value /property/configuration//格式化文件系统（安装Hadoop后只需执行一次格式化）bin/hdfs namenode -format//开启NameNode进程和DataNode进程sbin/start-dfs.sh//检查Hadoop进程#jps//通过浏览页面查看NameNode和Datanode1:50070///创建运行MapReduce job所需的HDFS目录:#bin/hdfs dfs -mkdir /user//拷贝输入文件到分布式文件系统（上传）# bin/hdfs dfs -put etc/hadoop input//运行一些提供的示例: #bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7