Hadoop配置讲解分析和总结.pdf

Hadoop配置实验报告 学号： 132202005 姓名：赵振凯 目录 简介 3 JDK安装 3 Hadoop 安装 6 总结 11 简介 Hadoop的安装，主要是安装在 Linux 和 Windows平台。因为目前主流是安 装在 Linux 中，所以本文主要以主流安装来做基本的讲解， 网上也有很多讲解如 何在 Windows 平台安装的教程，如果有需要可以自己查找资料。从 Linux 安装 hadoop的次序来讲，，非常简单，主要分为三步，第一步是 JDK的安装，因为 Hadoop 是基于 Java 的，所以安装 JDK毋庸置疑。 JDK 的全称是 Java Development Kit 的简称，主要保证了 Java 的运行环境和开发环境。 SSH是一种安全通信机制， 如果是 Hadoop伪分布或者真实分布，则必须要安装 SSH，一般都是配置的无密 码 SSH通信，这是因为在程序运行过程中会有网络通信，所以 SSH也是必须的。 在这两个都配置好之后， 就可以安装 Hadoop，本文主要讲解的是伪分布的配置， 因此需要配置若干文件，配置完成后就可以打开分别对应 jobtracker 和 hdfs 的网页 ( 下文会给出详细讲解 ) 用来判断是否配置成功，并且用 Hadoop中的例子 运行实例。下面就给出详细的讲解，因为在安装 Hadoop 的过程中会遇到版本不 一致的问题，因此在本文安装成功的基础上，给出我们的版本号，如果可以，读 者可以在配置的时候参考成功配置的版本号来安装， 而不是盲目追求最新的版本。 版本信息： 平台版本： Ubuntu-13.10-desktop-amd64 JDK版本： JDK-1.6.0_37 Hadoop 版本： hadoop-1.1.1 JDK安装 本文采用的 JDK 版本是 JDK-1.6.0_37 ，这里读者可以自己到官网去下载， 注意因为我的系统版本是 64 位的，所以在下载的时候要特别注意 JDK是 32 位还 是 64 位。下载 JDK-1.6.0_37 到 Ubuntu 中，执行以下命令。注意，作者将会尽 可能多的写一些命令行帮助读者理解， 但是有些牵扯到具体路径的， 将会以文字 形式详细解释，因此还需要读者自己慢慢熟悉命令。 命令行： $ cd /usr $ sudo mkdir java $ sudo cp JDK 包的位置 /usr/java $ tar –zxvf JDK-1.6.0_37.tar.gz 以上命令行只是把 JDK包移动到 usr/java 中，具体的其他位置应该也可以， 对于放置在不同的路径下具体会有什么不同的影响， 我不是很清楚。 同理，下面 的 hadoop 安装包我也是依据网上的参考位置，选择了一个相对来说比较常用的 位置，是否可以放置在其他位置， 或者会产生哪些影响也不是很清楚。 不过可以 肯定的是，目前我选择的放置位置是成功的，可以效仿。 上述操作完成后，执行 sudo gedit /etc/profile 在打开文件的最后加入如下 从上面也可以看出， JDK的放置位置很多，读者可以参考下，不一而论。 如果这个文件没有权限修改，可以进入 root 模式下修改，输入命令