Hadoop平台搭建和测试.pptVIP

什么是Hadoop Hadoop 是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。 Hadoop的构成 HDFS HDFS把节点分成两类：NameNode和DataNode。NameNode是唯一的，程序与之通信，然后从DataNode上存取文件。这些操作是透明的，与普通的文件系统API没有区别。 Hadoop也跟其他云计算项目有共同点和目标：实现海量数据的计算。而进行海量计算需要一个稳定的，安全的数据容器，才有了Hadoop分布式文件系统（HDFS，Hadoop Distributed File System） MapReduce 最简单的 MapReduce 应用程序至少包含 3 个部分：一个 Map 函数、一个 Reduce 函数和一个 main 函数。main 函数将作业控制和文件输入/输出结合起来。在这点上，Hadoop 提供了大量的接口和抽象类，从而为 Hadoop 应用程序开发人员提供许多工具，可用于调试和性能度量等。 。 MapReduce MapReduce Hadoop 上，一个代表客户机在单个主系统上启动的 MapReduce 应用程序称为 JobTracker。类似于 NameNode，它是 Hadoop 集群中惟一负责控制 MapReduce 应用程序的系统。在应用程序提交之后，将提供包含在 HDFS 中的输入和输出目录。JobTracker 使用文件块信息（物理量和位置）确定如何创建其他 TaskTracker 从属任务。MapReduce 应用程序被复制到每个出现输入文件块的节点。将为特定节点上的每个文件块创建一个惟一的从属任务。每个 TaskTracker 将状态和完成信息报告给 JobTracker。 HDFS和MapReduce实现是完全分离的，并不是没有HDFS就不能MapReduce运算 Hadoop的安装 确保在你集群中的每个节点上都安装了所有必需软件：sun-JDK? ，ssh，Hadoop Java1.6.0，必须安装。 ssh?必须安装并且保证?sshd一直运行，以便用Hadoop 脚本管理远端Hadoop守护进程。 安装JDK 1.? 从sun主页下载JDK for Linux版本。这里下载的是jdk-6u6-linux-i586.bin。 2. 用root用户登录ubuntu。切换到所需的安装目录。类型：cd 目录路径名?? 例如，要在 /usr/java/ 目录中? 安装软件，请键入：cd /usr/java/，把jdk-6u6-linux-i586.bin文件拷贝这个目录里面，设置权限为可执行类型：chmod a+x jre-6u6-linux-i586.bin 3. 启动安装过程。键入：./jre-6uversion-linux-i586.bin。接下来会提示二进制的许可协议，键入yes回车即可。安装过程如果遇到一些问题，都同样键入yes就可以。 4. 一路下来，最后看到Done字样，就完成了Java环境的安装。安装的位置就是当前目录 /usr/java，当然你可以选择在别的位置。可以用ls命令查看一下是否正常 。 5.修改/etc/profile文件，用命令(sudo gedit /etc/profile)，在末尾加上下面几行：JAVA_HOME=/usr/java/jdk1.6.0_25 PATH=$PATH:$JAVA_HOME/bin CLASSPATH=.:$JAVA_HOME/lib export JAVA_HOME export PATH export CLASSPATH 具体可以参看这里：JDK环境变量的设置：/jak/archive/2008/04/01/190069.html 6.验证安装：java -version 安装ssh 1)确认已经连上互联网，输入命令 sudo apt-get install ssh 2)配置ssh无密码登陆 ssh-keygen -t rsa 3）进入/home/username/文件夹下 cd .ssh/ 4）输入 cp id_rsa.pub authorized_keys 5）验证是否无密码成功： ssh localhost Hadoop的配置 1.下载hadoop（Hadoop-1.1.1.tar.gz），然后将其解压 2.进入hadoop文件夹下的conf文件夹进行配置 Hadoop的配置 MapReduce程序可以以以下三种模式运行： Local(Standalone) Mode：只有一个 Java 虚拟机在跑，完全没