Chapter和林子雨大数据技术原理与应用分布式文件系统HDFS年月日版本.pptVIP

3.5.3 数据错误与恢复 3. 数据出错 网络传输和磁盘错误等因素，都会造成数据错误 客户端在读取到数据后，会采用md5和sha1对数据块进行校验，以确定读取到正确的数据 在文件被创建时，客户端就会对每一个文件块进行信息摘录，并把这些信息写入到同一个路径的隐藏文件里面 当客户端读取文件的时候，会先读取该信息文件，然后，利用该信息文件对每个读取的数据块进行校验，如果校验出错，客户端就会请求到另外一个数据节点读取该文件块，并且向名称节点报告这个文件块有错误，名称节点会定期检查并且重新复制这个块 3.6 HDFS数据读写过程 3.6.1 读数据的过程 3.6.2 写数据的过程 3.6.1 读数据的过程 下图展示了HDFS读数据的过程： 3.6.1 读数据的过程 下图展示了HDFS写数据的过程： 3.7 HDFS编程实践 Hadoop提供了关于HDFS在Linux操作系统上进行文件操作的常用Shell命令以及Java API。同时还可以利用Web界面查看和管理Hadoop文件系统 备注：Hadoop安装成功后，已经包含HDFS和MapReduce，不需要额外安装。而HBase等其他组件，则需要另外下载安装。 3.7.1 HDFS常用命令 HDFS有很多shell命令，其中，fs命令可以说是HDFS最常用的命令 利用该命令可以查看HDFS文件系统的目录结构、上传和下载数据、 创建文件等。