云存储系统步骤.docVIP

一、原理图 二、搭建图 整个系统搭建需要5台PC，其中4台组成hadoop存储系统，余下一台为web服务器。主机名分别为hadoop1 hadoop2 hadoop3 hadoop4 web-php，IP分别为01 02 03 04 53 1. Hadoop存储系统安装部署1.1. 机器说明总共4台机器：hadoop1 hadoop2 hadoop3 hadoop4 IP地址分别为：01…….204 操作系统：centos5.5root用户密码：123456 Hadoop1(01)作为namenode(master),其他的作为datanode(slave) 1.2. 用机器名ping通机器用root用户登录。在namenode和各个slave上用机器名互相ping，ping不通的话，修改/etc/hosts文件，其他datanode机器只要保证和namenode能ping通就可以了 1.3. 新建系统hadoop用户Hadoop要求所有机器上hadoop的部署目录结构要相同，并且都有一个相同的用户名的帐户，所以需要每台机器见一个同名的用户。在这4台机器上建hadoop用户，密码：hadoop，默认路径/home/hadoop/。 1.4. SSH设置Hadoop需要namenode到datanode的无密码SSH，所以需要设置namenode到其他3台datanode的无密码公钥认证方式的SSH。设置完成后，测试一下namenode到各个节点的ssh链接，包括到本机，如果不需要输入密码就可以ssh登录，说明设置成功了。 1.5. 安装JDK到sun网站下载JDK安装包，并在每台机器的root用户下面安装。下面以实例简单描述一下如何安装：下载JDK的rpm包jdk-6u6-linux-i586-rpm.binchmod 775 jdk-6u26-linux-i586-rpm.bin ./jdk-6u26-linux-i586-rpm.bin 安装软件会将JDK自动安装到 /usr/java/jdk1.6.0_目录下。安装完成后，设置JDK的环境变量，考虑到JDK可能会有其他系统用户也会用到，建议将环境变量直接设置在/etc/profile中具体内容：export JAVA_HOME=/usr/java/jdk1.6.0_export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/libexport PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin 2、Hadoop 集群配置 2.1 下载 hadoop-0.20.2.tar.gz 在 namenode上下载 hadoop-0.20.2.tar.gz，将其解压 到/home/hadoop/ 目录下，使用如下命令: [hadoop@ hadoop]# tar -xvzf hadoop-0.20.2.tar.gz [hadoop@hadoop1 hadoop]# mv hadoop-0.20.2 /usr/local/hadoop 设置权限 Chown -R hadoop:root /usr/local/hadoop Chmod -R 777 hadoop 然后在 hadoop下创建tmp文件夹并把 Hadoop的安装路径添加 到/etc/profile 中修改/etc/profile文件(配置 java 环境变量的文件)，将以下语句添加到末尾，并使其有效(source /etc/profile)： # set hadoop path export HADOOP_HOME=/usr/local/hadoop export PATH=$HADOOP_HOME/bin:$PATH 2 、 编 辑 H a d o o p 的 配 置 文 件 （1）配置 hadoop-env.sh [hadoop@ conf]# vim hadoop-env.sh 末尾加入以下语句 # set java environment export JAVA_HOME=/usr/java/jdk1.6.0_/ hadoop 配置文件在 conf 目录下，core-site.xml、hdfs- site.xml、mapred-site.xml。 （2）配置 core-site.xml 文件 configuration property namehadoop.tmp.dir/name value//local/tmp/value (注意，请先在 目录下建立 tmp 文件夹) /property property name/nam