題目Linux平台下Hadoop的安装配置.docxVIP

Linux平台下Hadoop的安装配置以下操作均是在虚拟机VWMare10.0平台上安装ubuntu12.04实现。首先要在ubuntu下穿件Hadoop用户。Ubuntu linux查看系统版本跟操作系统位数X86_64说明是64位内核，i38,i686说明是32位内核。JDK的安装实验使用jdk-7u45-linux-i586.bin，软件放在Home文件夹下。进入存放jdk文件夹的当前目录，解压jdk-7u45-linux-i586.gz$tar –zxvf *.gz创建/usr/lib/jvm文件$sudo mkdir /usr/lib/jvm复制解压后的jdk1.7.0_45到/usr/lib/jvm文件夹$sudo cp –r jdk1.7.0_45 /usr/lib/jvm赋予文件读、写和执行的权限$sudo chmod 777 /usr/lib/jvm修改环境变量（对计算机的所有用户生效）$sudo gedit /etc/profile使用source更新/etc/profile$source /etc/profile使用java –version命令查看java版本号创建hadoop用户组和用户创建Hadoop用户组$sudo addgroup hadoop创建Hadoop用户并设置密码$sudo adduser –ingroup hadoop hadoop赋予用户权限$ sudo gedit /etc/sudoers打开/etc/sudoers文件，给hadoop用户赋予root用户同样的权限。在rootALL=(ALL:ALL) ALL下添加： hadoop ALL=(ALL:ALL) ALL。切换hadoop用户，安装并配置ssh安装sshHadoop运行过程中需要管理远端Hadoop守护进程，如果在安装Linux虚拟机时没有安装ssh，可以使用下面的命令来安装：$sudo apt-get install openssh-server安装过程中可能会遇到问题，安装其他的程序，到网上下载安装，如需要安装Libck-connector0_0.4.5-3ubuntu0.1_i386.deb，下载安装它就行。配置ssh免密码登陆ssh生成密钥有RSA（专用密钥）和DSA（公用密钥）两种生成方式，默认情况下采用RSA方式。1.生成密钥对，执行如下命令：$ssh-keygen -t rsa询问保存路径时，直接回车采用默认路径，提示要为生成的秘钥输入passphrase时，直接回车将其设定为空密码连续三次回车，回车后会在~/.ssh/下生成两个文件：id_rsa（私用密钥）和id_rsa.pub（公用密钥），这两个文件时成对出现的，可用-ls查看。2.进入~/.ssh/目录下，将id_rsa.pub追加到authorized_keys授权文件中，开始是没有authorizaed_keys文件的。$cd ~/.ssh$ls3.将id_rsa.pub追加到authorized_keys授权文件中$cat id_rsa.pub authorized_keys或 $cp id_rsa.pub authorized_keys完成之后就可以无密码登陆本机了。3.s登陆localhost$ssh localhost输入yes，如sshd没有启动，则会显示22号端口打不开，此时找出错误，重新配置。当进行伪分布模式的配置时，配置完成之后要执行exit推出，因为你控制的是远程的机器，需要执行推出命令才能重新控制本机。Hadoop的安装与部署将下载的Hadoop-2.2.0软件下载到本机，并解压到home目录下。 命令行解压Linux解压tar命令$tar -zxvf *.tar.gz-c：打包-t：查看tar文件夹里的内容-j：用bzip2压缩-p：保留文件原属性-P：使用绝对属性-N：压缩指定日期（yyy/mm/dd）以后用的文件-x：解开一个压缩文件的参数指令-z：是否同时具有gzip的属性，亦即是否需要用gzip压缩-v：压缩的过程中显示文件列表-f：文件名，该参数必须是最后一个参数，后面接文件名改名操作：$sudo mv hadoop-2.2.0 hadoop将hadoop文件夹的属主用户设为hadoop$sudo chown –R hadoop:hadoop hadoop单机模式配置方式单机模式不需要配置，这种方式下，Hadoop被认为是一个单独的Java进程，这种方式经常用来调试。伪分布式模式配置方式可以把伪分布模式看作是只有一个节点的集群，在这个集群中，这个节点既是Master，也是Slave，既是NameNode，也是DataNode，既是JobTracker，也是TaskTracker。这种模式下修改4个配置文件即可