Hadoop单机及集群配置.doc

实 验 报 告 （2014 / 2015 学年 第 二 学期） 课程名称 云计算 实验名称 Hadoop单机及集群配置 2015 年 5 月 13 日 指导单位 指导教师 学生姓名 班级学号 学院(系) 专 业 实 验 报 告 实验名称 Hadoop单机及集群配置 实验类型 上机 实验学时 2 实验时间 2015.5.13 实验目的和要求 实验要求：学会Hadoop单机版及集群的安装配置Hadoop的及环境Hadoop的为adoop数据分析奠定基础 虚拟机Ubuntu14.04、hadoop-1.2.1 三、实验原理及内容 1、安装Ubuntu14.04 使用VMware Workstation安装虚拟机Ubuntu14.04 2、hadoop用户组 （1）创建hadoop用户组：sudo addgroup hadoop 创建hadoop用户：sudo adduser -ingroup hadoop hadoop 为hadoop用户添加权限： sudo gedit /etc/sudoers，在打开的文件中添加一句hadoop ALL=（ALL：ALL）ALL， 其中hadoop和ALL之间的空格使用TAB键。 （4）使用hadoop用户登录系统 重新打开Ubuntu，发现登陆界面多了一个hadoop用户，用hadoop用户登录系统。 3、SSH配置 （1）Ubuntu14.04已默认安装ssh的客户端，只需要安装服务器端即可，但在实际操作时，发现由于是刚安装的Ubuntu系统，该系统没有更新，还没有安装ssh，因此先使用系统更新命令sudo apt-get update更新系统。 （2）安装ssh：sudo apt-get install openssh-server。 启动ssh：sudo /etc/init.d/ssh start 查看服务是否正确启动：ps -e | grep ssh。 设置免密码登录，生成私钥和公钥：ssh-keygen -t rsa -P （5）将公钥追加到authorized_keys（authorized_keys用于保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容）中：cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 退出：exit （6）测试是否已完成：java -version （sudo update-alternatives --config java可查看当前各种版本和配置） 6、测试wordcount （1）创建input文件夹：sudo mkdir /usr/local/hadoop/input （2）将hadoop文件夹下的README.txt文件拷贝至input中：sudo cp README.txt input （3）执行：hadoop jar hadoop-examples-1.2.1.jar wordcount input output 4.查看结果：cat output/* 7、伪分布式配置 在hadoop文件夹下创建文件夹：tmp，hdfs，hdfs/name，hdfs/data 修改data的权限：sudo chmod 755 hdfs/data 修改conf/中core-site.xml文件 修改conf/中hdfs-site.xml文件 修改mapred-site.xml文件 （9）可以通过浏览器页面查看运行状态 http://localhost:50030/ - Hadoop 管理介面 http://localhost:50060/ - Hadoop Task Tracker 状态http://localhost:50070/ - Hadoop DFS 状态 （10）wordcount检测： 在dfs中创建input目录：hadoop dfs -mkdir input 将README.txt拷贝至input中：hadoop dfs -copyFromLocal README.txt input 运行wordcount：hadoop jar hadoop-examples-1.2.1.jar wordcount input output 查看结果：hadoop dfs -cat output/* 四、实验小结 实验中遇到的问题： 当我停止Hadoop时发现“no datanode to stop”，原因是每次namenode format会重新创建一个namenodeId，而tmp/dfs/data下包含了上次format下的id，namenode format清空了namenode下的数据，但是