《云计算（第三版）》之十九：第5章 Hadoop 2.0 主流开源云架构（五）.pptx

电子工业出版社《云计算(第三版)》配套课件云计算CLOUD COMPUTING Third Edition（第三版）第 5 章Hadoop 2.0 主流开源云架构(五)主编：刘鹏 教授电子工业出版社《云计算(第三版)》配套课件本套PPT下载地址：/list.aspx?cid=20云计算的红宝书书籍购买地址：/item.html?itemID=1469775685p=-1/item.html?itemID=1469775685p=-1（包邮且有刘鹏教授亲笔签名）微信扫描二维码关注云计算头条刘 鹏 教授、博导、学科带头人，清华大学博士。现任中国云计算专家咨询委员会秘书长、中国信息协会大数据分会副会长、工业与信息化部云计算研究中心专家。 主持完成科研项目25项，发表论文80余篇，出版专业书籍15本。获部级科技进步二等奖4项、三等奖4项。主编了国内第一本云计算教材《云计算》和第一本云计算编程书籍《实战Hadoop》。创办了知名的中国云计算（）和中国大数据（）网站。 曾率队夺得2002 PennySort国际计算机排序比赛冠军，两次夺得全国高校科技比赛最高奖，并三次夺得清华大学科技比赛最高奖。 荣获“全军十大学习成才标兵”（排名第一）、南京“十大杰出青年”、江苏省“333高层次人才培养工程”中青年科学技术带头人、清华大学“学术新秀”等称号。5.1 引例5.2 Hadoop 2.0简述5.3 Hadoop 2.0部署5.4 Hadoop 2.0体系架构5.5 Hadoop 2.0访问接口5.6 Hadoop 2.0编程接口5.5 Hadoop 2.0访问接口5.5.1 访问接口综述5.5.2 浏览器接口5.5.3 命令行接口Hadoop 2.0每个模块访问方式可分为：浏览器接口Shell接口编程接口5.5 Hadoop 2.0访问接口5.5.1 访问接口综述5.5.2 浏览器接口5.5.3 命令行接口5.5 Hadoop 2.0访问接口浏览器接口Web地址配置文件配置参数HDFShttp://NameNodeHostName:50070hdfs-site.xml{node.http-address}Yarnhttp://ResourceManagerHostName:8088yarn-site.xml{ yarn.resourcemanager.webapp.address}MapReducehttp://JobHistoryHostName:19888mapred-site.xml{mapreduce.jobhistory.webapp.address}在Hadoop 2.0里，MapReduce是Yarn不可缺少的模块，这里的JobHistory是一个任务独立模块，用来查看历史任务，和MapReduce并行处理算法无关。5.5 Hadoop 2.0访问接口5.5.1 访问接口综述5.5.2 浏览器接口5.5.3 命令行接口1.HDFS 以tar包方式部署时，其执行方式是HADOOP_HOME/bin/hdfs，当以完全模式部署时，使用HDFS用户执行hdfs即可2.Yarn以tar包方式部署时，其执行方式是HADOOP_HOME/bin/yarn，当以完全模式部署时，使用Yarn用户执行yarn即可每一条命令都包含若干条子命令Yarn的Shell命令也主要分为用户命令和管理员命令3．Hadoop以tar包方式部署时，其执行方式是HADOOP_HOME/bin/Hadoop，当以完全模式部署时，在终端直接执行hadoop这个脚本既包含HDFS里最常用命令fs（即HDFS里的dfs），又包含Yarn里最常用命令jar，可以说是HDFS和Yarn的结合体。此外，distcp用mapreduce来实现两个Hadoop集群之间大规模数据复制。5.5 Hadoop 2.0访问接口命令行接口4．其他常用命令sbin/目录下的脚本主要分为两种类型：启停服务脚本和管理服务脚本。其中，脚本hadoop-daemon.sh可单独用于启动本机服务，方便本机调试，start/stop类脚本适用于管理整个集群，读者只要在命令行下直接使用这些脚本，它会自动提示使用方法。5.1 引例5.2 Hadoop 2.0简述5.3 Hadoop 2.0部署5.4 Hadoop 2.0体系架构5.5 Hadoop 2.0访问接口5.6 Hadoop 2.0编程接口5.6 Hadoop 2.0编程接口5.6.1 HDFS 编程5.6.2 Yarn编程5.6 Hadoop 2.0编程接口HDFSYarnHadoop5.6 Hadoop 2.0编程接口HDFS 编程使用File类方法对文件句柄进行相关操作使用Java处理文件新建File类针对这个File新建