尚学堂hadop培训hadoop概述和安装配置.docVIP

北京尚学堂提供 Hadoop说明 对于hadoop，apache官方wiki给出的说明为 Apache?Hadoop?is?a?framework?for?running?applications?on?large?cluster?built?of?commodity?hardware.?The?Hadoop?framework?transparently?provides?applications?both?reliability?and?data?motion.?Hadoop?implements?a?computational?paradigm?named?Map/Reduce,?where?the?application?is?divided?into?many?small?fragments?of?work,?each?of?which?may?be?executed?or?re-executed?on?any?node?in?the?cluster.?In?addition,?it?provides?a?distributed?file?system?(HDFS)?that?stores?data?on?the?compute?nodes,?providing?very?high?aggregate?bandwidth?across?the?cluster.?Both?MapReduce?and?the?Hadoop?Distributed?File?System?are?designed?so?that?node?failures?are?automatically?handled?by?the?framework.??? 大意为： Apache Hadoop是一个在大型集群的商品硬件上运行的应用程序的框架。Hadoop框架透明的提供了应用程序的可靠性和数据访问的方法。Hadoop实现了Map/Reduce计算模型，每个应用程序被切分成许多碎片化的工作段，每个段可在任何急群众的节点（重复）执行。此外，它还提供了用以在计算节点中存储数据的分布式文件系统HDFS,HDFS提供了节点间的高度聚合能力。MapReduce和Hadoop分布式文件系统都设计成拥有节点故障时自动处理的能力。 先决条件 支持平台 GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证。 Win32平台是作为开发平台支持的。由于分布式操作尚未在Win32平台上充分测试，所以还不作为一个生产平台被支持。 所需软件 Linux和Windows所需软件包括: JavaTM1.5.x，必须安装，建议选择Sun公司发行的Java版本。????????? ssh?必须安装并且保证?sshd一直运行，以便用Hadoop ??? 脚本管理远端Hadoop守护进程 Windows下的附加软件需求 Cygwin?- 提供上述软件之外的shell支持。? 安装软件 如果你的集群尚未安装所需软件，你得首先安装它们。 以Ubuntu Linux为例: $?sudo?apt-get?install?ssh??? $?sudo?apt-get?install?rsync??? linux上hadoop安装 hadoop生产环境是linux，这里我在虚拟机上进行软件的安装,系统为centos7-64bit ssh设置及主机名修改 修改主机名 执行主机名修改（ip要与实际对应上） 修改28对应机器的hostname，在该ip对应的主机执行命令 hostname?master?? 相应的，对其他两台机器分别执行 hostname?slave1?? hostname?slave2?? 同时依次修改机器上的etc/host文件 28??master?? 29??slave1?? 30??slave2?? 开启ssh服务??? 安装openssh-server：$ sudo apt-get install openssh-server ?????? 3.? 建立ssh无密码登录 在NameNode 上实现无密码登录本机： ssh-keygen?-t?dsa?-P??-f?~/.ssh/id_dsa?? 直接回车，完成后会在~/.ssh/生成两个文件：id_dsa 和id_dsa.pub。这两个是成对出现，类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys文件)：$ cat ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys。完成后可以实现无密码登录本机：$ ssh localhost。 实现NameNode 无密码登录其他Dat