hadoop配置文稿.docVIP

大数据配置文稿 01---JDK配置 第01步：下载JDK的包，解压到soft下面 第02步：设置如下环境变量 sudo gedit /etc/profile export JAVA_HOME=/home/xutong/soft/jdk1.8.0_60 export JRE_HOME=/home/xutong/soft/jdk1.8.0_60/jre export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH 第03步：执行如下命令 //选择我们的JAVA作为系统默认的JAVA sudo update-alternatives --install /usr/bin/java java /home/xutong/soft/jdk1.8.0_60/bin/java 300 sudo update-alternatives --install /usr/bin/javac javac /home/xutong/soft/jdk1.8.0_60/bin/javac 300 //更新设定 sudo update-alternatives --config java //更新系统配置文件 source /etc/profile //测试JAVA是否配置成功 java -version 02---安装SSH sudo apt-get -y update 第一步：安装 sudo apt-get install openssh-server 第二步：检查版本是否成功 ssh -v 第三步：创建ssh-key ssh-keygen -t rsa 说明：多次回车后 第四步：cd ~/.ssh 说明： ~代表你的/home/用户明目录假设你的用户名是x，那么~/就是/home/x/.是代表此目录本身，但是一般可以不写所以cd ~/. 和cd ~ 和cd ~/效果是一样的但是.后面有东西又是另外一个问题，点在文件名头部，代表一个隐藏文件~/.local是你的主目录下一个.local的文件夹的路径，并且从.可以看出，这是一个饮藏文件，如果不用ls -a的话，一般ls是无法看到的 /home/xutong/soft/jdk1.8.0_60 #export HADOOP_INSTALL= /home/xutong/soft/hadoop-2.7.1 #export PATH=$PATH: /home/xutong/soft/hadoop-2.7.1/bin 第九步：让目录生效 source /home/xutong/soft/hadoop-2.7.1/etc/hadoop/hadoop-env.sh 04---单机模式下运行WordCount 第一：创建input目录，里面随便放个文件文件 第二：创建output目录 第三：运行如下命令 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount input output/1 第四：运行如下命令 cat output/1/*05---伪分布式安装 操作1： 第一步：进入Hadoop主目录 cd hadoop2.7.1 第二步：打开etc/hadoop/core-site.xml sudo gedit etc/hadoop/core-site.xml 第三步：添加如下内容 property name/name valuehdfs://localhost:9000/value /property 操作二： 第一步：进入hadoop主目录 cd hadoop-2.7.1 第二步：打开etc/hadoop/hdfs-site.xml sudo getdit etc/hadoop/hdfs-site.xml 第三步：添加如下内容 property namedfs.replication/name value1/value /property 操作三： 第一步：进入hadoop主目录 cd hadoop-2.7.1 第二步：进入etc/hadoop目录 第三步：拷贝mapred-site.xml.template一份，修改为mapred-site.xml 第四步：打开该文件 sudo getdit etc/hadoop/mapred-site.xml 第五步：添加如下内容 property name /name valueyarn/value /property 操作四： 第一