[计算机软件及应用]Hadoop使用手册第一版 修订版.docVIP

 目录 第一部分 Hadoop安装与部署 3 第一节 Hadoop部署 3 1.准备资源 3 2.安装流程 4 3.配置流程 4 4.可能遇到问题 5 第二节 单机伪分布 6 1.配置文件 6 2.格式化 HDFS 7 3.启动Hadoop监护进程 7 4.复制输入文件到HDFS 7 5.运行wordcount例子 7 6.输出结果 7 7.停止Hadoop系统 7 第三节 完全分布 8 1.系统规划安排 8 2.修改hosts 8 3.配置ssh 8 4.配置masters和slaves 9 5.配置文件 9 6.运行准备 10 7.运行例子 10 8.关闭Hadoop进程 11 9.说明 11 10.扩展至集群搭建 11 第四节 在eclipse下使用Hadoop 12 1.下载Eclipse包 12 2.解压Eclipse包 12 3.修改Eclipse权限 12 4.Eclipse环境配置 12 5.拷贝hadoop插件 13 6.准备输入文件 14 7.启动Eclipse 14 8.设置Hadoop安装文件夹路径 14 9.新建Map/Reduce项目 14 10.导入wordcount例子 14 11.运行例子 14 12.查看结果 15 第二部分 Hadoop的小应用实例 15 数据去重 15 1.前言 15 2.实例的描述 15 3.设计思路 16 4.源代码