MapReduce原理及操作.pdfVIP

MapReduce 原理及操作 本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明 显位置给出原文连接，博主为石山园，博客地址为 /shishanyuan 。 该系列课程是应邀实验楼整理编写的，这里需要赞一下实验楼提供了学习的新方式，可以边看博 客边上机实验，课程地址为 /courses/237 【注】该系列所使用到安装包、测试数据和代码均可在百度网盘下载，具体地址为 /s/10PnDs ，下载该PDF 文件 1 环境说明 部署节点操作系统为CentOS ，防火墙和SElinux 禁用，创建了一个shiyanlou 用户并在系 统根目录下创建/app 目录，用于存放 Hadoop 等组件运行包。因为该目录用于安装 hadoop 等组件程序 ，用户对shiyanlou 必须赋予rwx 权限（一般做法是root 用户在根目录下创建/app 目录，并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shiyanlou /app ）。 Hadoop 搭建环境：  虚拟机操作系统： CentOS6.6 64 位，单核，1G 内存  JDK ：1.7.0_55 64 位  Hadoop ：1.1.2 2 Map