在Windows平台下部署Hadoop开发环境..docxVIP

在 Windows 平台下部署 Hadoop 开发环境 魏仁言 2010.6.8Hadoop简介Hadoop 是一个开源的可运行于大规模集群上的分布式并行编程框架，由于分布式存储对于分布式编程来说是必不可少的，这个框架中还包含了一个分布式文件系统 HDFS( Hadoop Distributed File System ) 。也许到目前为止，Hadoop 还不是那么广为人知，其最新的版本号也仅仅是 0.20 ，距离 1.0 似乎都还有很长的一段距离，但提及 Hadoop 一脉相承的另外两个开源项目 Nutch 和 Lucene ( 三者的创始人都是 Doug Cutting ), 那绝对是大名鼎鼎。Lucene 是一个用 Java 开发的开源高性能全文检索工具包，它不是一个完整的应用程序，而是一套简单易用的 API 。在全世界范围内，已有无数的软件系统，Web 网站基于 Lucene 实现了全文检索功能，后来 Doug Cutting 又开创了第一个开源的 Web 搜索引擎( ) Nutch, 它在 Lucene 的基础上增加了网络爬虫和一些和 Web 相关的功能，一些解析各类文档格式的插件等，此外，Nutch 中还包含了一个分布式文件系统用于存储数据。从 Nutch 0.8.0 版本之后，Doug Cutting 把 Nutch 中的分布式文件系统以及实现 MapReduce 算法的代码独立出来形成了一个新的开源项 Hadoop 。Nutch 也演化为基于 Lucene 全文检索以及 Hadoop 分布式计算平台的一个开源搜索引擎。 基于 Hadoop, 你可以轻松地编写可处理海量数据的分布式并行程序，并将其运行于由成百上千个结点组成的大规模计算机集群上。从目前的情况来看，Hadoop 注定会有一个辉煌的未来： 云计算 是目前灸手可热的技术名词，全球各大 IT 公司都在投资和推广这种新一代的计算模式，而 Hadoop 又被其中几家主要的公司用作其 云计算 环境中的重要基础软件，如: 雅虎正在借助 Hadoop 开源平台的力量对抗 Google, 除了资助 Hadoop 开发团队外，还在开发基于 Hadoop 的开源项目 Pig, 这是一个专注于海量数据集分析的分布式计算程序。Amazon 公司基于 Hadoop 推出了 Amazon S3 ( Amazon Simple Storage Service ) ，提供可靠，快速，可扩展的网络存储服务，以及一个商用的云计算平台 Amazon EC2 ( Amazon Elastic Compute Cloud ) 。在 IBM 公司的云计算项目-- 蓝云计划 中，Hadoop 也是其中重要的基础软件。Google 正在跟IBM 合作，共同推广基于 Hadoop 的云计算。 准备： 1. Java 1.6 以上 2. Eclipse Europa 3.3.2 3. Cygwin 4. Hadoop-0.20.2 1. 安装 Cygwin Hadoop 主要是在 Linux 平台下运行的，如果想在 Windows 平台下运行，你需要安装 Cygwin 才能运行， Hadoop 脚本。 a. 下载 Cygwin 安装包 (here .) b. 运行安装包，你将要看到下图。 ?c. 安装时一定要确认选择“ openssh ”安装包。如下图： ?d. 完成安装 2. 安装 SSH 守护进程 Hadoop 分布式运行需要 SSH 。所以这一部分介绍在 Cygwin 下配置 SSH 守护进程。 a. 打开 Cygwin 命令环境 b. 执行以下命令 rywei@RYWEI$ chmod +r /etc/group?rywei@RYWEI$ chmod +r /etc/passwd rywei@RYWEI$ chmod +rwx /var?rywei@RYWEI$ ssh-host-configc. · ? When asked if privilege separation should be used, answer no . 记着一定要答no, 否则用Hadoop-Ecliple Plugin 插件进行开发时，会提示你没有权限操作文件，不能写等错误。（我因为这个问题头痛了好长时间，最后才找到是这里出现问题的。） · ? When asked if sshd should be installed as a service, answer yes . · ? When asked about the value of CYGWIN environment variable enter ntsec . d. 配置完后，启动 SSHD 守护进程 运行： n et start ssh