Google云计算平台背后的奥秘.docVIP

Google中国区技术总监谷雪梅：Google云计算平台背后的奥秘 大家好！今天非常高兴能够我来到这个场合和大家一起分享一下Google在云计算技术方面的一些成绩还有一些思考，我今天演讲的提纲主要涉及到几方面： 一、云计算的规模与极端 二、云计算平台设计挑战 三、Google云计算基础技术 四、Google云计算新技术 我们讲到云计算且不管是什么样的商业要求，回归基本的话，三个要求一是要有数据存储、二是要有计算的能力，三是工作的调度，怎么在几万台机器之间的进行任务的调度及时最后的结果达到额快和最好。 Google在存储方面做了Google文件系统，这个工作是比较早期的，是2000年左右开发，2003年在国际上SOSP上面发表，它的基本理念是我们不介意用非常差的硬件，但是要用可以承受所有软件来管理这些硬件，为了满足这个要求，我们会把所有的数据分三份存在所有的机器上面，同时在比较高级的机器上会存Master，会让Master来管理。最后会和Master交流得到所需要的数据。这个文件系统虽然看上去很简单，但是事实上它是对于传统文件系统的革命，因为在之前比较常用的NSI备份不会做这么多，而这个备份维度可以满足大规模系统的需求。除了存储我们有了进一步的要求，希望存储能够像数据库一样，这就是Google的Big Table，就是一个网站，怎么存在一个Big Table里面，就是我们做一个网站的名字，后面存储相关的内容。所以大家可以看到，如果全世界有100亿个网页的话，这个大表格应该有多大呢？所以在Google的Big Table系统里面主要涉及到两个重大问题，一个是内存管理，因为你是不可能把这个表格放到一个数据中心里面，我们怎么样把几十万台机器的内存用很有效地方式管理起来，这是非常大的技术挑战。但是这个Big Table也是在几年前向全世界计算机界进行了发表，大家有兴趣可以看一下。我们讲了数据的存储以后，下面就是计算，Google传统的做法就是是MapReduce，大家想一想Map就是对每一行进行操作，Reduce就是对最后结果的列进行操作，这个概念不是新概念，已经有二、三十年的历史，但是Google在这方面的贡献就是把它变大，可以让它在很大的数据中心量级上进行运行，同时Google对于硬件的要求很低，所以它需要用软件实行。 在刚才讲到的MapReduce里面我们Google要进行什么样的计算，比如说这是月球的距离、太阳系、银河系等等，最后Google可以做的计算里面，现在可以到达千万亿级的计算。所以，我们如果对于计算做一个比较，一般来讲科学计算是很少、精确度很高，但是数据量很小，大家一步一步往下排可以搜索到非常大的用户，Google现在在全世界支持了10亿以上的用户，它精确度要求并不是非常高，因为有的时候如果一个用户不能被满足的话，用户可以重新申请一次，刚才银联的郝先生和华胜天成的杨总讲的情况不太一样，因为在刚才的情况里面如果你需要金融服务操作的话，可能会对精确度要求更高一点，所以有时候我们做云计算系统设计的时候也要考虑到你所需要提供的服务是什么样子的，根据这个服务可以反过来设计你的系统，有的时候精确度需要高，可靠度需要高，这个问题就不那么严重。对Google来说，精确度、可靠度并不是那么高，但是用户数和每秒钟需要处理的量级是很大的。 下面稍微介绍一下在Google这种做搜索引擎的公司，Google如果做云计算平台涉及的挑战和基础技术。首先，看一下样本平台，一个计算机可以提供多么大的Rack，一个计算中心可以有多少，刚才讲过Google有36个数据中心，这个数据可能不是准确的，但是我觉得可以讲的是Google的数据只要有需要就可以随时用，如果在世界某个地方有用户请求过来，我们就可以非常方便的去调整我们的计算中心。 我们来看一下，如果对计算机的单机来说，它对存储和网络用户的要求反映是怎么样的？随着从单机变成计算机机架的话，对用户请求的能力会成倍的增长，但是对于Latency的要求变化不会太大，计算中心会达到下一个层次的水准，所以我们认为在云计算中主要的能力，尤其是对搜索引擎来说最大的好处还是对用户请求能力成倍的增长。虽然我们有这样的要求，可是在设计方面随着计算机数量的增长，会有非常多的挑战，下面我也想在几方面跟大家分享一下。 首先是能耗，刚才两位嘉宾也在讲，随着世界对IT更多的要求，在过去30多年里面对能源的消耗已经增长了两倍，亚太区是增长的非常快的，有两个原因：一个是经济的增长速度；另外一个是对能源方面的理解，还有一些工作没有达到世界上最好的水准。比如说拿油当量作为一个单位，如果用你的电脑一个小时会需要20克，就是说用电脑一个小时可以做100次que