《云计算（第三版）》配套PPT之十九：第5章 Hadoop 2.0 主流开源云架构（五）.pptxVIP

电子工业出版社《云计算(第三版)》配套课件云计算CLOUD COMPUTING Third Edition（第三版）第 5 章Hadoop 2.0 主流开源云架构(五)主编：刘鹏 教授5.1 引例5.2 Hadoop 2.0简述5.3 Hadoop 2.0部署5.4 Hadoop 2.0体系架构5.5 Hadoop 2.0访问接口5.6 Hadoop 2.0编程接口5.5 Hadoop 2.0访问接口5.5.1 访问接口综述5.5.2 浏览器接口5.5.3 命令行接口Hadoop 2.0每个模块访问方式可分为：浏览器接口Shell接口编程接口5.5 Hadoop 2.0访问接口5.5.1 访问接口综述5.5.2 浏览器接口5.5.3 命令行接口5.5 Hadoop 2.0访问接口浏览器接口Web地址配置文件配置参数HDFShttp://NameNodeHostName:50070hdfs-site.xml{node.http-address}Yarnhttp://ResourceManagerHostName:8088yarn-site.xml{ yarn.resourcemanager.webapp.address}MapReducehttp://JobHistoryHostName:19888mapred-site.xml{mapreduce.jobhistory.webapp.address}在Hadoop 2.0里，MapReduce是Yarn不可缺少的模块，这里的JobHistory是一个任务独立模块，用来查看历史任务，和MapReduce并行处理算法无关。5.5 Hadoop 2.0访问接口5.5.1 访问接口综述5.5.2 浏览器接口5.5.3 命令行接口1.HDFS 以tar包方式部署时，其执行方式是HADOOP_HOME/bin/hdfs，当以完全模式部署时，使用HDFS用户执行hdfs即可2.Yarn以tar包方式部署时，其执行方式是HADOOP_HOME/bin/yarn，当以完全模式部署时，使用Yarn用户执行yarn即可每一条命令都包含若干条子命令Yarn的Shell命令也主要分为用户命令和管理员命令3．Hadoop以tar包方式部署时，其执行方式是HADOOP_HOME/bin/Hadoop，当以完全模式部署时，在终端直接执行hadoop这个脚本既包含HDFS里最常用命令fs（即HDFS里的dfs），又包含Yarn里最常用命令jar，可以说是HDFS和Yarn的结合体。此外，distcp用mapreduce来实现两个Hadoop集群之间大规模数据复制。5.5 Hadoop 2.0访问接口命令行接口4．其他常用命令sbin/目录下的脚本主要分为两种类型：启停服务脚本和管理服务脚本。其中，脚本hadoop-daemon.sh可单独用于启动本机服务，方便本机调试，start/stop类脚本适用于管理整个集群，读者只要在命令行下直接使用这些脚本，它会自动提示使用方法。5.1 引例5.2 Hadoop 2.0简述5.3 Hadoop 2.0部署5.4 Hadoop 2.0体系架构5.5 Hadoop 2.0访问接口5.6 Hadoop 2.0编程接口5.6 Hadoop 2.0编程接口5.6.1 HDFS 编程5.6.2 Yarn编程5.6 Hadoop 2.0编程接口HDFSYarnHadoop5.6 Hadoop 2.0编程接口HDFS 编程使用File类方法对文件句柄进行相关操作使用Java处理文件新建File类针对这个File新建各种流对文件内容进行操作编写HDFS代码操作HDFS里的文件时，也是这个思路，只不过HDFS须先加载配置文件，在进行任何操作之前，我们都要实例化配置文件1.HDFS编程实例5.6 Hadoop 2.0编程接口HDFS 编程【例1】请编写一简单程序，要求实现在HDFS里新建文件myfile，并且写入内容“china cstor cstor cstor china”。【例2】请编写一简单程序，要求输出HDFS里刚写入的文件myfile的内容。【例3】请编写一简单代码，要求输出HDFS里文件myfile相关属性（如文件大小、拥有者、集群副本数，最近修改时间等）。2.HDFS编程基础5.6 Hadoop 2.0编程接口HDFS 编程1）Hadoop统一配置文件类ConfigurationHadoop的每一个实体（Common，HDFS，Yarn）都有与其相对应的配置文件，Configuration类是联系几个配置文件的统一接口。Hadoop各模块间传递的一切值都必须通过Configuration类实现，其他方式均无法获取程序设置的参数，若想实现参数最好使用C