盘点人气云计算、大数据开源技术变迁.docVIP

盘点人气云计算、大数据开源技术变迁 　　云服务是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。 　　从2010年开始，我们看到过被人质疑的云计算，也看到了现在云计算成为各种创业公司的基础，甚至走入各种互联网之外的传统企业，见证了其在中国发展的整个过程。在整个发展过程中，在服务可靠性技术问题得以解决之后，数据归属成为不折不扣的导火索，公有云与私有云之争一度也异常激烈，而经过了长时间实践之后，则形成当下公有云、私有云、混合云等解决方案并存的状态。 　　在这个基础上，我们看到很多开源云计算、大数据技术框架得到了飞速发展，其中更有一些已经成为业内事实上的标准。这些开源框架的出现大幅度降低了云计算和大数据技术的使用门槛，然而同时新的问题也随之浮现，即生产环境使用挑战。 　　大数据生态繁花似锦 　　近年内，随着越来越多的设备接入互联网，当下一年所产生的数据往往是以往数年的总和。而据Global Cloud Index预计，截止至2020年互联设备数量将达到500亿，众多爆发式增长的设备预计在2017年便会产生高达7.7 ZB的互联网数据。在这个大背景下，各个机构都积累了足够多的数据，从而对数据进行分析并产生指导实践的见解也成为了企业提高竞争力的迫切需求。在这个需求刺激下，开源大数据技术生态圈得到了飞速发展――在数据的整个生命周期中，从收集到处理，一直到数据可视化和储存，各种开源技术框架林立。 　　在开源大数据处理上，出于对成本和数据量的考虑，横向扩展已经必不可少，因此在这个领域涌现出大量优秀的集群计算框架，其中大家首先想到的就是Hadoop。Hadoop天生高贵，由雅虎原工程师Doug Cutting在Google论文的启发下建立，也是时下生产环境部署最多的计算框架。然而，随着内存成本的降低和对不同处理类型需求的增加，缺乏对内存有效利用及资源调度粒度的不够，业内涌现出大量优秀的计算框架并占据一席之地，整个大数据生态繁华似锦。 　　开源IaaS发展 　　如上文所述，随着接入互联网的设备增多，企业IT基础设施往往需要承受以往数倍的压力，从而对原有的资源组织方式提出了严峻的挑战。在这个前提下，云计算得以快速发展并在各行各业落地，更成为许多创业公司的立足之本。而作为云计算的一种重要形式，IaaS服务有各种开源和商业云平台方案，作为当前最成功的云计算平台，AWS更是吸引了众多的关注和模仿，如果说云计算发展到如今的火爆，除了IT技术的发展趋势，更重要的是背后顶级云计算厂商的大力支持和推广。我们最早听到IaaS概念可以追溯到1983年，一家在现在看来非常厉害的公司Sun Microsystems就提出了“网络是电脑”的概念，但是由于概念太超前，在当时并没有引起重视。 　　随着Amazon推出其弹性云计算，并在IaaS领域大获成功，Google、微软、VMware、IBM等IT巨头们大举跟进，纷纷涉足云计算领域，云计算的热潮汹涌而至。在这期间，开源IaaS领域发展同样迅猛，从最早的Eucalyptus、OpenNebula、CloudStack等到我们熟知的OpenStack，百花齐放，百家争鸣，一时云计算领域热闹非凡。当然，随着众多大型厂商的支持、社区的壮大以及生态的不断完善，OpenStack如今大放异彩，开始逐渐占据主导。不是说OpenStack现在完美无缺，只是在当下的开源IaaS领域，OpenStack已经毫无争议地成为最受关注的云计算技术，并逐渐成为开源IaaS领域的代名词。 　　容器技术异军突起 　　Docker，时下最火的容器技术，从诞生到进军生产环境，每一步的技术演进都受到了巨大的关注。其实，谈及容器技术，其实Docker并非首创，早在十数年前，容器技术便已有雏形，但是以Solomon Hykes为首的一帮工程师敏锐的发现了容器技术在云计算领域的巨大潜力，随后迅速技术转型，开始投向容器技术并且从一开始就走开源路线，这位身上流著美国与法国的血统，喜欢网咖打电玩，酷爱摩托车的年轻人开始了一段非凡的浪漫之旅。 　　无论是版本的迭代还是进军生产环境，Docker这三年来的发展可以说是如鱼得水，当然，期间也受到过质疑，比如CoreOS与Docker的标准之争就在容器圈引起了不大不小的轰动，最后以Solomon和CoreOS的创始人Alex Polvi握手言和告终。之后随着Docker版本的更新，在网络和安全、存储等领域的短板被逐渐补足之后，Docker的集群能力得以完善。 　　容器引擎领域，虽说有CoreOS团队开源的rkt项目，但是和Docker相比，在用户以及社区活跃度方面都有很大差距。容器的编排，可以说在目前Docker领域受到的关注度前所未有，从Mes