HDFS文件系统技术详解.pdf

技术创新，变革未来 HDFS文件系统技术详解 内容 HDFS文件读写 HDFS副本策略 HDFS Shell HDFS Java API Hadoop序列化 Read From HDFS HDFS 如何读取文件 获取DistributedFileSystem实例 DistributedFileSystem通过RPC获得第一批block的locations，这些 locations按照hadoop拓扑结构排序，距离客户端近的排在前面 客户端调用read方 法，连接离客户端最近的datanode 数据从datanode流向客户端 第一个block块的数据读完，就会关闭指向第一个block块的datanode连接 ，接着读取下一个block块 第一批block都读完，就会去namenode拿下一批block的locations，然后 继续读，所有的block块都读完，就会关闭流 Write To HDFS HDFS 如何写入文件 客户端调用 DistributedFileSystem 的create方法，创建一个新文件 DistributedFileSystem 通过 RPC调用 NameNode，去创建一个没有 blocks关联的新文件 创建前，NameNode 会做各种校验，比如文件是否存在，客户端有无权 限创建等 DFSOutputStream会把数据切成一个个小packet，然后排成队列data queue ，并问询 NameNode 这个新的 block 最适合存储的3个DataNode DFSOutputStream 还有一个队列叫 ack queue ，也是由 packet 组成， 等待DataNode的收到响应，当所有DataNode都表示已经收到，这时ack queue才会把对应的packet包移除掉 客户端完成写数据后，调用close方法关闭写入流 最后通知元数据节点写入完毕 Replication （副本）  副本因子一般为3 副本存放策略需要对可靠性、写入带宽和读取带 宽进行权衡  2个副本在1个机架的不同节点上, 另1个副本在 另1个机架节点上，其他副本随机存储  针对读请求，HDFS提供离客户端最近的副本  Hadoop启动时，在安全模式下会检查副本数 副本存放策略 HDFS 访问 HDFS 提供了两种数据访问接口：Shell接口和 Java API 接口 这些接口将文件分割之后，存储在不同的 DataNode上 对HDFS里面的文件进行操作，具体每个Block放 在哪台DataNode上面，对于开发者来说是透明的 HDFS Shell （1） HDFS基本命令和 Linux 命令基本相同，区分大 小写，格式如下： HDFS 资源URI格式如下： HDFS Shell （2）—— 基本命令 创建文件夹：hdfs dfs -mkdir /log 上传文件或目录：hdfs dfs -put log.txt /log 或hdfs dfs -copyFromLocal log.txt /log 显示目录下的文件：hdfs dfs -ls /log 如果是文件，返回文件信息如下： 权限 副本数 用户ID 组ID 文件大小 修改日期 修改时间 权限 文件名 如果是目录，返回目录信息如下： 权限用户ID 组ID 修改日期 修改时间 目录名 递归显示目录下的文件：hdfs dfs -ls -R /log HDFS Shell （3）—— 基本命令 查看内容：hdfs dfs -text /loglog.txt 或-cat、-tail命令，但对于压缩文件只能用 -text 参数来查 看，