Chapter3-林子雨-大数据技术原理与应用-分布式文件系统HDFS[2016年1月26日版本].pptVIP

3.5.3 数据错误与恢复 3. 数据出错 网络传输和磁盘错误等因素，都会造成数据错误 客户端在读取到数据后，会采用md5和sha1对数据块进行校验，以确定读取到正确的数据 在文件被创建时，客户端就会对每一个文件块进行信息摘录，并把这些信息写入到同一个路径的隐藏文件里面 当客户端读取文件的时候，会先读取该信息文件，然后，利用该信息文件对每个读取的数据块进行校验，如果校验出错，客户端就会请求到另外一个数据节点读取该文件块，并且向名称节点报告这个文件块有错误，名称节点会定期检查并且重新复制这个块 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 3.6 HDFS数据读写过程 3.6.1 读数据的过程 3.6.2 写数据的过程 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 3.6.1 读数据的过程 下图展示了HDFS读数据的过程： Evaluation only. Created with Aspose.Slides for .NET 3.5 Cli