Google十个核心技术.docVIP

Google的十个核心技术 任职于IBM中国研究院，从事与云计算相关研究的CSDN博客专家吴朱华曾写过一篇文章《探索Google App Engine背后的奥秘(1)--Google的核心技术》，对Google的核心技术和其整体架构进行详细的分析，现转载于此，供大家学习。本篇将主要介绍Google的十个核心技术，而且可以分为四大类： 1.分布式基础设施：GFS，Chubby和Protocol Buffer。2.分布式大规模数据处理：MapReduce和Sawzall。3.分布式数据库技术：BigTable和数据库Sharding。4.数据中心优化技术：数据中心高温化，12V电池和服务器整合。 分布式基础设施GFS由于搜索引擎需要处理海量的数据，所以Google的两位创始人Larry Page和Sergey Brin在创业初期设计一套名为“BigFiles”的文件系统，而GFS（全称为“Google File System”）这套分布式文件系统则是“BigFiles”的延续。首先，介绍它的架构，GFS主要分为两类节点： 1.Master节点：主要存储与数据文件相关的元数据，而不是Chunk（数据块）。元数据包括一个能将64位标签映射到数据块的位置及其组成文件的表格，数据块副本位置和哪个进程正在读写特定的数据块等。还有Master节点会周期性地接收从每个Chun