第12章GoogleSpanner-厦门大学数据库实验室.PDFVIP

厦门大学计算机科学系研究生课程 《大数据技术基础》 第12章Google Spanner （2013年新版） 林子雨 厦门大学计算机科学系 E-mail: ziyulin@ 主页：/linziyu 《大数据技术基础》 厦门大学计算机科学系厦门大学计算机系 林子雨 ziyulin@2013年新版 2013年9月修订版 提纲 • Spanner背景 • 与BigTable、Megastore对比 • Spanner的功能 • 体系结构 • Spanserver • Directory • 数据模型 • TrueTime • Spanner并发控制 • 参考文献 本讲义PPT存在配套教材，由林子雨通过大量 阅读、收集、整理各种资料后编写而成 下载配套教材请访问 《大数据技术基础》2013 班级网站：/node/423 《大数据技术基础》 厦门大学计算机系 林子雨 ziyulin@ 2013年9月修订版 Spanner • Spanner是个可扩展，多版本，全球分布式还支持同步复 制的数据库。 • 他是Google的第一个可以全球扩展并且支持外部一致的事 务。 • Spanner能做到这些，离不开一个用GPS和原子钟实现的 时间API 。这个API能将数据中心之间的时间同步精确到 10ms以内。 • 主要功能：无锁读事务，原子模式修改，读历史数据无 阻塞。 《大数据技术基础》 厦门大学计算机系 林子雨 ziyulin@ 2013年9月修订版 Spanner背景 要搞清楚Spanner原理，先得了解Spanner在Google的定位。 Spanner位于F1和GFS之间，承上启下。 《大数据技术基础》 厦门大学计算机系 林子雨 ziyulin@ 2013年9月修订版 F1 和众多互联网公司一样，在早期Google大量使用了Mysql。Mysql是单机的， 可以用Master-Slave来容错，分区来扩展。但是需要大量的手工运维工作，有很 多的限制。因此Google开发了一个可容错可扩展的RDBMS——F1。 F1有如下特点： · 7 ×24高可用。哪怕某一个数据中心停止运转，仍然可 用。 · 可以同时提供强一致性和弱一致。 · 可扩展 · 支持SQL · 事务提交延迟50-100ms，读延迟5-10ms，高吞吐 《大数据技术基础》 厦门大学计算机系 林子雨 ziyulin@ 2013年9月修订版 Colossus （GFS II） Colossus是第二代GFS。Colossus是Google重要的基础设施，因 为他可以满足主流应用对FS的要求。Colossus的重要改进有： •优雅Master容错处理(不再有2s 的停止服务时间) •Chunk大小只有1MB (对小文件很友好) •Master可以存储更多的Metadata(当Chunk从64MB变为1MB后， Metadata会扩大64倍，但是Google也解决了) Colossus可以自动分区Metadata。使用Reed-Solomon算法来复制，可