基于KafkaMessaging as a Service设计与运维.pdfVIP

《基于Kafka的MessagingasaService设计与运维》

ThoughtWorks金明

我们在Docker和Kafka方面做的工作。也是希望跟现场的朋友做一些深入点的探讨。我

们来讲Kafka它的优点，怎么样使用轻量型的容器，来做云上的设计思路。可能有些人听过，包括

我这次发现几位讲师都是。我之前在市区里面也做过这样的，关注点在云和

Docker这一块。我这里先大概做一下介绍，我是ThoughtWorks的师。长期以来在

ThoughtWorks是做关于软件研发，然后做软件开发的推广工作。目前我的工作是在企业交付

和云这一块。我们的一个想法，我们认为整个业界对于我们软件开发来讲是一个好的想

法。就是说我们希望每个公司，不管是软件公司或者是外包的公司，我们能够以Docker这样

的视角，以整个的Paas平台的视角，我们希望能够帮助企业或者帮助客户，将这个平台和应

用这一块。

大家可以看到左边，是分层这样的记录站。从Docker的视角来看，它应该是一个闭环。

从我们的记录设施到我们的变更，再到我们的发布，再到我们的分析，形成一个闭环的

作用。这个是我目前的一个重点，也是希望在社区里面，包括说跟大家、交流的一些点。介绍了

这么多，聊聊今天真正想跟大家交流的话题，就是云服务。这个话题并不是在自己的开

发过程自己凭空。我们在跟一个客户合作，这个客户运营国内很大的公用群的厂

商。大家知道公用群厂商一般卖的是虚拟机，现在很多这样的公共云厂商在想如果我

的增值服务，让开发人员用得很舒服。于是我们跟一个客户合作，在他们的公共云上面

Kafka相关键的服务。于是有了我们今天的话题，目前正在跟他们有深度合作。

我们今天主要分三大块，一个是我们先回顾一下AWS上面的消息服务。再看一下我们能

够实现这样一个消息服务的话，它有几个记录选型，RabbitMQ、Redis、Kafka，然后各自的

优缺点。在开始之前，大家都知道现在AWS基本上是公用云的。它一开始只有有限

的服务。我们ThoughtWorks一直是使用的技术为目标、使命的记录公司。我们其实从08、

09年就在客户的项目上面开始了AWS。到我们现在这个时刻，2015年来看的时候，它上面的

服务十几十种，基本上囊括了开发测试，大数据等等一系列的服务。它整个的收入也是水涨

船高，从06年刚开始一穷二白，到现在有6亿的收入。正是AWS的一个大的回顾，我们今

天想看它其中关于消息服务的两个。一个是SQS的服务，一个是SNS。如果做过软件开发，

大家都知道，我们如果要做系统的集成，或者做异步的处理，基本上都需要引入消息软

件。的出发和的回调是SNS。这是AWS上面消息服务的内容。异步消息的发送，我从

使用者来看的话，我不用关心我的消息端在哪儿，我只需要某个队列。我不用关心我的

MessagingasaServiceDesignandOperationBasedonKafka

ThoughtWorks金明

OurrecentworkonDockerandKafka.Ialsohopetohavesomein-depth

discussionswithfriendsatthescene.Let’stalkabouttheadvantagesofKafka

andhowtouselightweightcontainerstocreateclouddesignideas.So