基于hadoop平台搭建.docVIP

hadoop平台搭建 1. 搭建单结点环境 1 1.1安装JDK 1 1.2安装hadoop 2 1.3创建一个名为hadoop的用户和用户组 2 1.4配置环境变量 3 1.5创建ssh-key 4 1.6配置hadoop 5 1.7格式化namenode 6 1.8启动hadoop 6 1.9跑wordcount 7 2. 搭建集群环境 9 2.1 配置一系列文件 9 2.2 保证Master/Slave机器之间可以通过SSH无密钥互相访问 12 2.3 启动hadoop 15 2.4 跑wordcount 16  准备3台普通PC机，一台用作主结点(Master,NameNode,JobTracker)，另外两台用作从结点(Slave,DataNode,TaskTracker)。操作系统为Red Hat Enterprise 5。 采用Master/Slave 结构。NameNode 维护集群内的元数据，对外提供创建、打开、删除和重命名文件或目录的功能。DataNode 存储数据，并提负责处理数据的读写请求。DataNode定期向NameNode 上报心跳，NameNode 通过响应心跳来控制DataNode。 Hadoop MapReduce 的实现也采用了Master/Slave 结构。Master 叫做JobTracker，而Slave 叫做TaskTracker。