hadoop实验报告整理.pdfVIP

基于hadoop 的大规模文本处理技术实验 专 业 班 级 ： 软件1102 学 生 姓 名 ： 张国宇 学 号 ： 201116040221 1 Setup Hadoop on Ubuntu 11.04 64-bit 提示： 前面的putty 软件安装省略；直接进入JDK 的安装。 1. Install Sun JDK安装JDK 由于Sun JDK 在ubuntu 的软件中心中无法找到，我们必须使用外部的PPA。打开 终端并且运行以下命令： sudo add-apt-repository ppa:ferramroberto/java sudo apt-get update sudo apt-get install sun-java6-bin sudo apt-get install sun-java6-jdk Add JAVA_HOME variable配置环境变量: 先输入粘贴下面文字： sudo vi /etc/environment 再将下面的文字输入进去：按i 键添加，esc 键退出，X 保存退出；如 下图： export JAVA_HOME=/usr/lib/jvm/java-6-sun-6 2 Test the success of installation in Terminal在终端测试安装是否成功: sudo . /etc/environment java –version 2. Check SSH Setting检查ssh 的设置 ssh localhost 如果出现“connection refused”，你最好重新安装 ssh （如下命令可以 安装）： sudo apt-get install openssh-server openssh-client 如果你没有通行证ssh 到主机，执行下面的命令： ssh-keygen -t dsa -P -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys 3 3. Setup Hadoop安装hadoop 安装 apache2 sudo apt-get install apache2 下载hadoop： sudo wget /hadoop/common/hadoop-1.0.4/hadoop-1.0.4.tar.gz 解压hadoop 所下载的文件包： tar xvfz hadoop-1.0.4.tar.gz 下载最近的一个稳定版本，解压。编辑/ hadoop-env.sh 定义 java_home “use/library/java-6-sun-6”作为hadoop 的根 目录： Sudo vi conf/hadoop-env.sh 将以下内容加到文件最后： # The java implementation to use. Required. export JAVA_HOME=/usr/lib/jvm/java-6-sun-6 Pseudo-Distributed Operation (Single-Node Cluster) 伪分布式操作（单 节点集群）: 将下面中间部分插入：（得到如图：） 4 cat conf/core-site.xml: configuration property name/name valuehdfs://localhost:9000/value /property /configuration cat conf/hdfs-site.xml: configuration 5 property nam