云计算第二章2-6教学.pptVIP

在Linux系统中安装Hadoop 在Linux系统中安装Hadoop 在Linux系统中安装Hadoop 在Linux系统中安装Hadoop 在Linux系统中安装Hadoop 在Linux系统中安装Hadoop 在Linux系统中安装Hadoop 在Linux系统中安装Hadoop 在Linux系统中安装Hadoop 在Linux系统中安装Hadoop 在Linux系统中安装Hadoop 在Linux系统中安装Hadoop 在Linux系统中安装Hadoop 在Windows系统中安装Hadoop 在Windows系统中安装Hadoop 在Windows系统中安装Hadoop 在Windows系统中安装Hadoop 在Windows系统中安装Hadoop 在Windows系统中安装Hadoop 在Windows系统中安装Hadoop 在Windows系统中安装Hadoop Hadoop：Google云计算的开源实现 提 纲 ? Hadoop简介 ? Hadoop分布式文件系统HDFS ? 分布式数据处理MapReduce ? 分布式结构化数据表HBase ? Hadoop安装 ? HDFS使用 ? HBase安装使用 ? MapReduce编程 1．安装环境配置 1）安装Linux虚拟机 安装软件VMware Workstation v7.1.3 2）安装SSH $ sudo apt-get install ssh 3）安装Java $ cd /usr/java/ $ /mnt/hgfs/share/jdk-6u24-linux-i586.bin 4）解压Hadoop安装包 $ tar –zxvf /mnt/hgfs/share/hadoop-0.20.2.tar.gz 5）编辑conf/hadoop-env.sh文件 $ vi conf/hadoop-env.sh 2．安装步骤 1）单机模式 默认情况下，Hadoop被配置成一个以非分布式模式运行的独立Java进程，适合开始时做调试工作 WordCount实例 $ mkdir input $ cd input $ echo hello world test1.txt $ echo hello hadoop test2.txt $ bin/hadoop jar hadoop-mapred-examples-0.20.2.jar wordcount input output 查看执行结果 $ cat output/* 2．安装步骤 2）伪分布式模式 用不同的Java进程模拟分布式运行中各类节点 （1）Hadoop配置 core-site.xml配置文档 hdfs-site.xml配置文档 mapred-site.xml配置文档 （2）免密码SSH设置 ?生成密钥对 $ ssh-keygen -t rsa ?一直按【Enter】键，按照默认的选项将生成的密钥对保存在.ssh/id_rsa文件中 ?进入.ssh目录 $ cp id_rsa.pub authorized_keys ?执行$ ssh localhost，可以实现用SSH 连接并且不需要输入密码 将密钥对保存在.ssh/id.rsa文件中 （3）Hadoop运行 （a）格式化分布式文件系统 $ bin/hadoop namenode –format （b）启动Hadoop守护进程 $ bin/start-all.sh 成功执行后将会在本机上启动NameNode、DataNode、JobTracker、TaskTracker和Secondary NameNode 5个新的Java进程 （c）运行WordCount实例 $ bin/hadoop dfs –copyFromLocal input in $ bin/hadoop jar hadoop-mapred-examples-0.20.2.jar wordcount in out 查看Hadoop分布式文件系统上数据处理的结果 $ bin/hadoop dfs -cat out/* 把输出文件从Hadoop分布式文件系统复制到本地文件系统查看 $ bin/hadoop dfs -get out output $ cat o