第8章 大数据时代.ppt

Google File System GFS的设计架构 一个GFS集群包含一个主服务器和多个块服务器，并被多个客户端访问。 文件分成固定大小的“块”。每个块在创建时都由主服务器分配一个固定不变的64位句柄唯一标识。 块服务器把块作为Linux文件存储在本地磁盘上，并根据指定的块句柄和字节范围对数据块进行读写操作。 Google File System GFS的设计架构（续） 主服务器维护所有文件系统的元数据，包括名字空间、访问控制信息、文件到块的映射信息以及块当前的位置。此外，主服务器还控制其它系统级的活动。主服务器周期性地与块服务器通信，以下达指令和收集状态。 GFS客户端代码被嵌入到每个应用中。它实现了文件系统API，实现主服务器与块服务器的通信从而代表应用实现读写操作。客户端与服务器交互从而实现元数据操作，但所有的数据操作都通过直接与块服务器交互而完成。 MapReduce MapReduce是一种针对超大规模数据集的编程模型和系统 用MapReduce开发出的程序可在大量商用计算机集群上并行执行、处理计算机的失效以及调度计算机间的通信 MapReduce的基本思想 用户写的两个程序：Map和Reduce 一个在计算机集群上执行多个程序实例的框架 MapReduce MapReduce程序的执行过程 BigTable BigTable是一种用来在海量数据规模下（例如包含