MapReduce海量数据并行处理ch.03.pptVIP

Google GFS的基本构架和工作原理 数据访问工作过程 特点：应用程序访问具体数据时部需要经过GFS Master，因此，避免了Master成为访问瓶颈 并发访问：由于一个大数据会存储在不同的ChunkServer中，应用程序可实现并发访问 Google GFS的基本构架和工作原理 GFS的系统管理技术 大规模集群安装技术：如何在一个成千上万个节点的集群上迅速部署GFS，升级管理和维护等 故障检测技术：GFS是构建在不可靠的廉价计算机之上的文件系统，节点数多，故障频繁，如何快速检测、定位、恢复或隔离故障节点 节点动态加入技术：当新的节点加入时，需要能自动安装和部署GFS 节能技术：服务器的耗电成本大于购买成本，Google为每个节点服务器配置了蓄电池替代UPS，大大节省了能耗。 BigTable的基本作用和设计思想 GFS是一个文件系统，难以提供对结构化数据的存储和访问管理。为此，Google在GFS之上又设计了一个结构化数据存储和访问管理系统—BigTable，为应用程序提供比单纯的文件系统更方便、更高层的数据操作能力 Google的很多数据，包括Web索引、卫星图像数据、地图数据等都以结构化形式存放在BigTable中 BigTable提供了一定粒度的结构化数据操作能力，主要解决一些大型媒体数据（Web文档、图片等）的结构化存储问题。但与传统的关系数据库相比，其结构化粒度