海量信息存储-华中科技大学.pptVIP

典型数据中心：Google 数据中心 简介 全球共建有近40个大规模数据中心 单个数据中心需要至少50兆瓦功率，约等于一个小型城市所有家庭的用电量 独特的硬件设备：定制的以太网交换机、能源系统等 自行研发的软件技术：Google File System、MapReduce、BigTable等 Google File System GFS的设计观念 组件失效不再被认为是意外，而是被看做正常的现象 GFS的文件非常巨大 对文件的操作具有特定的模式 应用程序和文件系统API的协同设计提高了整个系统的灵活性 Google File System GFS的设计架构 一个GFS集群包含一个主服务器和多个块服务器，并被多个客户端访问。 文件分成固定大小的“块”。每个块在创建时都由主服务器分配一个固定不变的64位句柄唯一标识。 块服务器把块作为Linux文件存储在本地磁盘上，并根据指定的块句柄和字节范围对数据块进行读写操作。 Google File System GFS的设计架构（续） 主服务器维护所有文件系统的元数据，包括名字空间、访问控制信息、文件到块的映射信息以及块当前的位置。此外，主服务器还控制其它系统级的活动。主服务器周期性地与块服务器通信，以下达指令和收集状态。 GFS客户端代码被嵌入到每个应用中。它实现了文件系统API，实现主服务器与块服务器的通信从而代表应用实现读写操作。客