谷歌分布式文件系统GFS.docVIP

谷歌文件系统GFS 分布式文件系统是分布式存储系统的一种，根据处理数据的类型，分布式存储系统主要分为四类，分布式文件系统、分布式键值系统、分布式表格系统、分布式数据库。分布式文件系统存储三种类型的数据：Blob（Binary Large Object二进制大对象数据）对象，也就是图片，照片，视频等非结构化数据对象，以及定长块，大文件。在系统实现层面，分布式文件系统内部按照数据块（chunk）来组织数据。每个数据块大小大致相同，每个数据块可以包含多个Blob对象或者定长块，一个大文件也可以拆分为多个数据块。分布式文件系统将这些数据块分散到存储集群，处理数据复制、一致性、负载均衡、容错等分布式系统难题，并将用户对Blob对象、定长块以及大文件的操作映射为对底层数据块的操作。另外，分布式文件系统也常作分布式表格系统以及分布式数据库的底层存储。 Google文件系统（GFS）是构建在廉价服务器之上的大型分布式系统。他将服务器故障视为正常现象，通过软件的方式自动容错，在保证系统可靠性和可用性的同时，大大降低系统的成本。GFS是Google分布式存储的基石，其他存储系统，如Google Bigtable 、Google Megastore、Google Percolator均直接或者间接地构建在GFS之上。另外，Google大规模批处理系统MapReduce也需要利用