Hadoop系统操作安装手册.docx

基于网络音乐云Hadoop系统及MapReduce模型管理平台V1.0操作手册北京华康嘉合科技有限公司目录一、服务器基础配置2二、实现Linux的ssh无密码验证配置2三、修改Linux机器名2四、安装JDK，并配置环境变量3五、安装Hadoop，并修改文件的配置3六、创建Hadoop备份的目录6七、将Hadoop的bin加入环境变量6八、修改部分运行文件的权限6九、格式化Hadoop，启动Hadoop7十、新加datanode的安装步骤7服务器基础配置首先，需要将服务器IP进行固定。本文采用主机IP：10.0.0.30，分机：10.0.0.31；主机名称：namenode，分机名称：datanode；本文红色字体为终端命令或需修改添加部分。实现Linux的ssh无密码验证配置生成密钥：在namenode（主机）上，使用终端输入ssh-keygen –t rsa，一直回车，生成密钥；在namenode上使用命令cd /root/.ssh 进入文件夹，使用ls可查看两个文件：id_rsa.pub,id_rsa；然后执行cp id_rsa.pub authorized_keys;使用ssh localhost验证是否成功，第一次需要输入登录密码，以后就不需要输入密码；拷贝密钥：[root@namenode .ssh] #scp authorized_keys 10.0.0.31:/root/.ssh这是拷贝命令，将namenode上的authorized_keys 拷贝到datanode的/root/.ssh 上；验证是否成功，在namenode上输入ssh 10.0.0.31，第一次连接需要输入yes，就可以连接到datanode上了，无需使用密码即为成功；此时，系统已登录至datanode下，不在namenode上了，可输入命令exit 返回至namenode；修改Linux机器名查看主机名：在命令行输入：hostname[root@namenode ~]# hostname namenode//这是你的主机名。修改机器名执行cd /etc/sysconfig ,进如sysconfig目录下执行vi network，修改network文件（文件修改方法，键盘点击Insert键进入输入模式，修改好文件后，按Esc键退出输入模式，直接输入:w进行文件保存，:q退出编辑模式；也可在文件夹内选择需修改文件直接打开进行文件修改）NETWORKING=yesHOSTNAME=namenode（修改成你需要的）执行cd /etc， 进入etc目录执行vi hosts要加入的datanode，把IP地址和机器名加在后面。这一步是让主机记住datanode的名字。所以在修改datanode的hosts时，只需写入namenode和你需要加入hadoop机器的datanode的IP地址及机器名就好。 [root@namenode etc]# vi hosts127.0.0.1 localhost.localdomain localhost 10.0.0.30 namenode namenode10.0.0.31 datanode datanode重启电脑后输入hostname检查主机名。安装JDK，并配置环境变量安装JDK将jdk-7u79-linux-x64.rpm保存在服务器硬盘内，双击进行安装；配置环境变量执行cd /etc，进入etc目录执行vi profile，修改profile文件文件中加入如下部分：export JAVA_HOME=/usr/java/jdk1.7.0_79export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib执行chmod +x profile，把profile变为可执行文件；执行source profile，把profile内容执行生效；执行java、javac、java –version查看是否安装成功；安装Hadoop，并修改文件的配置将hadoop-2.7.1.tar.gz文件解压，本文解压至根目录下（/hadoop-2.7.1）；输入cd /hadoop-2.7.1/etc/hadoop，进入hadoop目录修改core-site.xml文件configurationpropertynamehadoop.tmp.dir/namevalue/usr/local/hadoop/hadooptmp/value （hadoop运行临时文件目录，需手动创建）/propertypropertynamedfs.datanode.data.dir/namevalue/us