Hadoop入门—Linux下伪分布式计算的安装与wordcount的实例展示.docVIP

开始研究一下开源项目hadoop，因为根据本人和业界的一些分析，海量数据的分布式并行处理是趋势，咱不能太落后，虽然开始有点晚，呵呵。首先就是安装和一个入门的小实例的讲解，这个恐怕是我们搞软件开发的，最常见也最有效率地入门一个新鲜玩意的方式了，废话不多说开始吧。 ??? 本人是在ubuntu下进行实验的，java和ssh安装就不在这里讲了，这两个是必须要安装的，好了我们进入主题安装hadoop： 1.下载hadoop-0.20.1.tar.gz：/dyn/closer.cgi/hadoop/common/ 解压：$ tar –zvxf hadoop-0.20.1.tar.gz把Hadoop 的安装路径添加到环/etc/profile 中:export HADOOP_HOME=/home/hexianghui/hadoop-0.20.1 export PATH=$HADOOP_HOME/bin:$PATH ? 2.配置hadoophadoop 的主要配置都在hadoop-0.20.1/conf 下。(1)在conf/hadoop-env.sh 中配置Java 环境(namenode 与datanode 的配置相同)：$ gedit hadoop-env.sh$ export JAVA_HOME=/home/hexianghui/jdk1.6.0_14 ? 3.3)配置co