Hadoop使用手册(第一版) 修订版.doc

 目录 第一部分 Hadoop安装与部署 3 第一节 Hadoop部署 3 1.准备资源 3 2.安装流程 4 3.配置流程 4 4.可能遇到问题 5 第二节 单机伪分布 6 1.配置文件 6 2.格式化 HDFS 7 3.启动Hadoop监护进程 7 4.复制输入文件到HDFS 7 5.运行wordcount例子 7 6.输出结果 7 7.停止Hadoop系统 7 第三节 完全分布 8 1.系统规划安排 8 2.修改hosts 8 3.配置ssh 8 4.配置masters和slaves 9 5.配置文件 9 6.运行准备 10 7.运行例子 10 8.关闭Hadoop进程 11 9.说明 11 10.扩展至集群搭建 11 第四节 在eclipse下使用Hadoop 12 1.下载Eclipse包 12 2.解压Eclipse包 12 3.修改Eclipse权限 12 4.Eclipse环境配置 12 5.拷贝hadoop插件 13 6.准备输入文件 14 7.启动Eclipse 14 8.设置Hadoop安装文件夹路径 14 9.新建Map/Reduce项目 14 10.导入wordcount例子 14 11.运行例子 14 12.查看结果 15 第二部分 Hadoop的小应用实例 15 数据去重 15 1.前言 15 2.实例的描述 15 3.设计思路 16 4.源代码 16 5.运行过程与结果 18 6.源代码分析 24 第三部分 Hadoop大型应用介绍 25 第一节 音乐社区网站Last.fm举例 25 1.Last.fm使用Hadoop的理由 26 2.Last.fm在Hadoop应用上产生图表的处理过程 26 3.总结 29 第二节 Rackspace系统日志分析举例 29 1.日志 29 2.收集和存储 30 3.日志的MapReduce模型 30 4.总结 32 第一部分 Hadoop安装与部署 第一节 Hadoop部署 1.准备资源 注意：如果下的包不一致，请在安装与配置阶段注意修改对应参数http://115.com/file/ben1bt8x#Hadoop和JDK安装文件.rar ），以便下载。 Ubuntu系统（具体版本不限） /apache/hadoop/common/hadoop-0.20.2/ 下载hadoop-0.20.2.tar.gz包即可。 Java6-jdk包 说明：这里我下载的是后缀为bin的文件。 SSH包 说明：在终端中输入 sudo apt-get install ssh ，联网下载安装，安装过程中可能由于网络原因，出现安装问题，这个问题一段时间后网络状况好可安装成功。也可以通过更改Ubuntu的源来解决这个问题。 Eclipse包 说明：到/downloads/处下载Linux版本的安装包或者直接在ubuntu软件中心内下载安装eclipse。推荐在Ubuntu平台下下载，不要在Window上下载，容易出问题，在实验中遇到过这样的问题，可能与平台兼容性有关。 2.安装流程（括号内容为说明，请复制前面的代码到终端执行） a.安装JDK 在终端中输入 （1）sudo mkdir /usr/Java （新建Java文件夹） sudo cp jdk的路径 /usr/Java （jdk的路径可以采用直接将文件拖入终端而后显示的方式） （2）cd /usr/Java （进入到Java目录下） sudo chmod u+x jdk-6u26-dlj-linux-i586.bin （改变文件权限为可执行） （3）sudo ./jdk-6u26-dlj-linux-i586.bin （执行安装，不停的回车，显示完协议后，提示是否同意协议，输入yes） b.安装Hadoop （1）sudo cp hadoop的路径 /usr/local （将hadoop-0.20.2tar.gz拖入终端后即可显示hadoop的路径） （2）cd /usr/local （进入到local目录） sudo tar -xzf hadoop-0.20.2.tar.gz （解压hadoop-0.20.2.tar.gz） （3）sudo mv hadoop-0.20.2 hadoop （将解压后的文件夹名改为hadoop） （4）sudo addgroup hadoop sudo adduser --ingroup hadoop hadoop （创建一个名为hado