Hadoop笔记讲义.doc

猎聘网站 注意：一定要将Windows上的WMnet1的IP设置和你的虚拟机在同一网段，但是IP不能相同 1.Linux环境配置（windows下面的防火墙也要关闭） 1.1修改主机名 vim /etc/sysconfig/network 1.2修改IP vim /etc/sysconfig/network-scripts/ifcfg-eth0 DNS1= DNS2= 修改主机名和IP的映射关系 vim /etc/hosts 关闭防火墙 查看防火墙状态 service iptables 查看计算机重启后防火强是否会开启，如下所示在2，3，4，5种情况会开启，可以在/etc/inittab中查看这几种情况，使用chkconfig iptables off 关闭 修改计算机名后需要重启计算机#reboot 重启后查看计算机和IP地址和防火墙是否改过来了 从windows中ping虚拟机 发现无法ping通，则查看虚拟机网络状态 右击选择设置 将NAT模式改为host-only模式 在Windows中再ping一次，若还是ping不通，则将本地连接禁用，再次从Windows中ping虚拟机和从虚拟机中ping Windows（两方的防火墙都要关闭） 安装jdk Jdk下载地址： /technetwork/java/javase/downloads/jdk7-downloads-1880260.html (windows和虚拟机互传文件方式 1共享文件夹：“虚拟机”--设置--选项--共享文件夹--总是启用--添加... 2使用FileZilla进行网络传输) 使用SecureCRT进行远程 使用#tar -zxvf jdk-7u79-linux-x64.gz -C /usr/java解压jdk到java文件夹下 修改环境变量 #vim /etc/profile 在文件尾部添加如下 之后直接java是不行的，需要source 安装hadoop Apache官方网站：/dist/ 在官网中点击hadoop--Core--stable--hadoop-2.7.1.tar.gz #mkdir /itcast #tar -zxvf /home/liuming/hadoop-2.7.1.tar.gz -C /itcast 配置伪分布式hadoop（要修改4个配置文件，但hadoop2.0要修改5个配置文件） 第一个：hadoop-env.sh (在itcast文件夹中： bin是一些可执行命令 sbin是一些start和stop命令文件 etc是hadoop的配置文件) #cd /itcast/etc/hadoop #vim hadoop-env.sh 第二个：/itcast/etc/hadoop下的core-site.xml #vim core-site.xml 在configuration中添加属性如下： configuration !--用来HDFS的老大（NameNode）的地址-- property namefs.defaultFS/name valuehdfs://itcast01:9000/value /property !--用来指定hadoop运行时产生文件的存放目录-- property namehadoop.tmp.dir/name value/itcast/hadoop-2.7.1/tmp/value /property /configuration 第三个：/itcast/etc/hadoop下的hdfs-site.xml #vim hdfs-site.xml configuration property !--用来指定HDFS保存数据的副本数目-- namedfs.replication/name value1/value /property /configuration 第四个：/itcast/etc/hadoop下的mapred-site.xml /itcast/etc/hadoop下没有mapred-site.xml文件，只有mapred-site.xml.template,只要把mapred-site.xml.template改为mapred-xml # mv mapred-site.xml.template mapred-sit