尚学堂hadop培训Hadoop单机模式安装.docVIP

北京尚学堂提供 因为最近想做一个基于豆瓣图书分析的展示系统，hadoop处理海量数据有巨大优势，于是在一无所知在Ubuntu下安装hadoop，历经各种曲折，先将经验与大家博友分享， 首先，了解Hadoop的三种安装模式： 1.?单机模式.?单机模式是Hadoop的默认模。当配置文件为空时，Hadoop完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。 2.?伪分布模式. Hadoop守护进程运行在本地机器上，模拟一个小规模的的集群。该模式在单机模式之上增加了代码调试功能，允许你检查内存使用情况，HDFS输入输出，以及其他的守护进程交互。 3.?全分布模式. Hadoop守护进程运行在一个集群上。 现在我搭建的环境是 ? ??(1)JDK1.8.0_45 ?(2)?? ubuntu-14.04.2-desktop-i386?(3)hadoop2.7.0??都算比较新的版本 ? 废话少说了，开始搭建。 一：在Ubuntu下创建hadoop用户组和用户（为了便于以后联机） 1:增加用户名和用户组 kaka@Rev$?sudo??addgroup??hadoop?? kaka@Rev$?sudo??adduser??–ingroup??hadoop??hadoop?? 2:增加hadoop用户为管理员权限，打开/etc/sudoers（因为后期会有大量的pemission） kaka@Rev$?sudo??vi?/etc/sudoers?? 在root??ALL=(ALL:ALL)??ALL下添加hadoop??ALL=(ALL:ALL)??ALL 二、配置SSH(其实作为单机模式和伪分布模式是不需要的) 配置SSH是为了实现各机器之间执行指令无需输入登录密码。务必要避免输入密码，否则，主节点每次试图访问其他节点时，都需要手动输入这个密码。 SSH无密码原理：master（namenode/jobtrack）作为客户端，要实现无密码公钥认证，连接到服务器slave（datanode/tasktracker）上时，需要在master上生成一个公钥对，包括一个公钥和一个私钥，而后将公钥复制到所有的slave上。当master通过SSH连接slave时，slave就会生成一个随机数并用master的公钥对随机数进行加密，并发送给master。Master收到密钥加密数之后再用私钥解密，并将解密数回传给slave，slave确认解密数无误后就允许master进行连接了。这就是一个公钥认证的过程，期间不需要用户手工输入密码。重要过程是将客户端master复制到slave上。 1：在线安装ssh 先连接到hadoop账户下 su hadoop,然后安装 hadoop@Rev$?sudo?apt-get?install?openssh-server???? 此时可能会报错就是ssh server版本过高的问题 正在读取软件包列表... 完成 正在分析软件包的依赖关系树?????? 正在读取状态信息... 完成?????? 有一些软件包无法被安装。如果您用的是 unstable 发行版，这也许是 因为系统无法达到您要求的状态造成的。该版本中可能会有一些您需要的软件 包尚未被创建或是它们已被从新到(Incoming)目录移出。 下列信息可能会对解决问题有所帮助： 下列软件包有未满足的依赖关系： ?openssh-server : 依赖: openssh-client (= 1:6.6p1-2ubuntu1) E: 无法修正错误，因为您要求某些软件包保持现状，就是它们破坏了软件包间的依赖关系。 这时候只需要将原来版本覆盖成需要版本即可 hadoop@Rev$?sudo?apt-get?install?openssh-client=1:6.6p1-2ubuntu1?? 2：启动ssh，查看是否装好 hadoop@Rev$?sudo??sudo?/etc/init.d/ssh?start??? hadoop@Rev$?ps?-e?|grep?ssh??? 3作为一个安全通信协议（ssh生成密钥有rsa和dsa两种生成方式，默认情况下采用rsa方式），使用时需要密码，因此我们要设置成免密码登录，生成私钥和公钥：hadoop@Rev$sudo??ssh-keygen?-t?rsa?-P???? 回车后会在~/.ssh/下生成两个文件：id_rsa和id_rsa.pub这两个文件是成对出现的前者为私钥，后者为公钥 进入~/.ssh/目录下，将公钥id_rsa.pub追加到authorized_keys授权文件中，开始是没有authorized_k