Hadoop 配置与程序调试.doc

SSH配置 在终端下进行配置，配置前必须保证网络连接状态为连上。 新增Hadoop组 按回车 新增Hadoop用户 按回车 设置用户权限 进入超级用户root 按回车 进入Hadoop目录 按回车 查看用户权限 按回车后出现以下内容： 添加用户权限 按回车 再次查看用户权限 按回车后出现以下内容 编辑用户权限文件 按回车，在打开的文件中进行如下操作： 在root ALL=（ALL） ALL后面添加hadoop ALL=（ALL） ALL 保存关闭即可。 去除用户权限 按回车 退出 回车 设置ssh key 进入Hadoop 用户下 按回车 建立ssh key 按回车，将出现以下内容 不输入任何内容，直接按回车。 按提示输入密码，密码为隐形的，及看不到，输入时必须记号。按回车将出现以下内容： 启用ssh key 按回车 重装ssh配置文件 按回车，出现以下内容 验证ssh的配置 按回车，提示输入密码，将出现以下内容 ssh 配置成功。 Hadoop配置 /dyn/closer.cgi/hadoop/core下载hadoop-0.20.2.tar.gz，解压到/usr/local/hadoop文件夹中。 1．更改解压过的/usr/local/hadoop的用户拥有者 进入、usr/local 目录下 按回车 更改所有者 按回车。 2．配置$HADOOP_HOME/conf/hadoop-env.sh 进入Hadoop子目录下。 编辑hadoop-env.sh文件 按回车，在打开的文件中修改点： 3．配置core-site.xml 按回车，在打开的文件中，在configuration与/configuration之间加上如下内容： 保存关闭即可。 配置mapred-site.xml 在终端下，同上，只是把最后的core-site.xml改为mapred-site.xml按回车，在打开的文件，在configuration与/configuration之间加上如下内容： 设置机群节点 由于实验室网络的ip地址老被冲掉，在这里用的是单机群单节点来做的。 编辑masters文件 在打开的文件中加入localhost，有的话就不用改了，保存关闭即可。 编辑slaves文件 同masters，在打开的文件中加入localhost，有的话就不用改了，保存关闭即可。 格式化namenode 按回车 启动Hadoop服务 按回车，出现以下内容 在提示下，输入密码，出现以下内容 表示Hadoop服务已启动。 验证Hadoop服务是否正常 有两种方法来进行验证： 用jps命令查看个进程运行状态 按回车，将出现以下内容： 说明个进程运行正常。 查看报告 按回车，出现以下内容： 以上说明Hadoop服务正常。 程序运行 准备工作 建立两个文件test_file1与test_file2 建立hdfs文件系统目录 将文件上传到到hdfs 查看是否上传成功 按回车，看到以下内容。 运行Hadoop自带的Wordcount程序 程序运行 按回车，出现以下内容 查看输出文件 按回车，出现以下内容： 查看输出结果 按回车，输出结果如下： 结果分析 从以上例子运行的结果，可以看出该程序是以空格来对文件内容进行分词的，把词和标点符号看做了同一个词。分词的结果与我们预想的结果不同。 退出Hadoop服务 按回车。 程序改进与调试 调试程序，一般在Eclipse中进行，它方便快捷。 安装Eclipse插件 从官方网站中下载eclipse-sdk-3.5-linux-gtk.tar.gz 并解压到/usr/share目录下，即可完安装。 下载IBM的MapReduce Tools for Eclipse插件，地址是/tech/mapreducetools，下载完成后，解压缩，将plugins目录下的文件夹拷贝到Eclipse目录下的plugins目录下配置过程：启动Eclipse 把Eclipse按安装目录下的Eclipse执行文件，小菱形，拖到桌面，双击它，启动Eclipse插件。 建立工作空间 点击ok。 选择Window—Preferences，弹出如图所示的对话框：设置Hadoop Main Directory为自己下载的Hadoop发行包的解压包所在目录。设置完成后单击“OK”完成。 新建项目 file—》new—》project，弹出以下对话框： 按enter键继续进行创建，选择填写工程名后，完成一个MapReduce Project工程的创建，可以进行Hadoop程序的开发了。导入程序 老出问题，目前还没完成设置。