Hadoop-01-第4讲HDFS的javaAPI及应用精选.pptVIP

NamenodeProtocol NameNodeProtocol接口是SecondaryNameNode调用的 SecondaryNameNode是专门做NameNode中edits文件向fsimage合并数据的。 * 练习题 练习shell命令 在HDFS创建一个文本文件hadoop.test。内容自定;然后，用Java程序在本地终端打印hadoop.test文件内容 用Java程序实现copyFromLocal * 思考题 hdfs的组成部分有哪些，分别解释一下 hdfs的高可靠如何实现 hdfs的常用shell命令有哪些 hdfs的常用java api有哪些 请用shell命令实现目录、文件的增删改查 请用java api实现目录、文件的增删改查 本讲总结 使用myeclipse查看hadoop源码 javaAPI操作HDFS RPC的原理及应用 RPC示例 谢谢 * 2.1、读文件的过程 客户端(client)用FileSystem的open()函数打开文件 DistributedFileSystem用RPC调用名称节点，得到文件的数据块信息。 对于每一个数据块，名称节点返回保存数据块的数据节点的地址。 DistributedFileSystem返回FSDataInputStream给客户端，用来读取数据。 客户端调用stream的read()函数开始读取数据。 DFSInputStream连接保存此文件第一个数据块的最近的数据节点。 Data从数据节点读到客户端(client) 当此数据块读取完毕时，DFSInputStream关闭和此数据节点的连接，然后连接此文件下一个数据块的最近的数据节点。 当客户端读取完毕数据的时候，调用FSDataInputStream的close函数。 在读取数据的过程中，如果客户端在与数据节点通信出现错误，则尝试连接包含此数据块的下一个数据节点。 失败的数据节点将被记录，以后不再连接。 报AccessControlException: Permission denied: 在conf/hdfs-site.xml增加 property namedfs.permissions/name valuefalse/value /property 中文字符集：/etc/sysconfig/i18n 报AccessControlException: Permission denied: 在conf/hdfs-site.xml增加 property namedfs.permissions/name valuefalse/value /property 中文字符集：/etc/sysconfig/i18n 报AccessControlException: Permission denied: 在conf/hdfs-site.xml增加 property namedfs.permissions/name valuefalse/value /property 中文字符集：/etc/sysconfig/i18n ?2015 Inspur Group Inspur Education Inspur Education ?2015 Inspur Group ?2015 Inspur Group Inspur Education Inspur Education ?2015 Inspur Group Inspur Education ?2015 Inspur Group 第4章 HDFS的javaAPI及操作 知识点回顾 分布式文件系统与HDFS HDFS体系结构 HDFS的基本概念 HDFS的shell操作 本章内容 使用myeclipse查看hadoop源码 javaAPI操作HDFS RPC的原理及应用 RPC示例 * 使用myeclipse查看hadoop源码(1) 使用myeclipse查看hadoop源码的步骤 1.在eclipse（myeclipse）中创建一个java project，项目名为hadoopsrc 2.将hadoop开源文件解压后，将src目录下core、hdfs、mapred三个文件夹拷贝到hadoopsrc项目的src下 3.调整hadoopsrc项目的目录结构 (1)找到项目的build path，将Source选项下的hadoopsrc/src删除 (2)找到项目的build path，在Source选项下，点击Add Folder按钮添加src下的core、hdfs、mapred三个目录。 * 使用myeclipse查看hadoop源码(2) 使用myeclipse查看hadoop源码的步骤 4.添加jar包：在hadoop