开源MQ——kafkaJava版本,针对淘宝内部应用做了定制.docxVIP

Memorphosis是一个消息中间件，它是linkedin开源MQ——kafka的Java版本，针对淘宝内部应用做了定制和优化。Metamorphosis的设计原则消息都是持久的，保存在磁盘吞吐量第一消费状态保存在客户端分布式，生产者、服务器和消费者都可分布Metamorphosis的部署结构[] Metamorphosis的特点 除了完整实现kafka的功能之外，我们还为meta加入了额外的功能，使得meta成为一个更为强大的通用消息中间件，包括彻底用java重写的实现，高效的协议和通讯框架发送端的负载均衡Master/Slave异步和同步复制的高可用方案专门用于广播消息的客户端实现与diamond结合使用的顺序发送消息功能支持事务，包括本地事务和分布式事务，实现JTA规范。[] Getting started 我们在日常已经部署了metamorhposis环境，因此你可以直接在本地测试，如果你想部署一个自己的服务器，可以参照#服务器部署节。前面提到，meta是一个消息中间件。消息中间件中有两个角色：消息生产者和消息消费者。Meta里同样有这两个概念，消息生产者负责创建消息并发送到meta服务器，meta服务器会将消息持久化到磁盘，消息消费者从meta服务器拉取消息并提交给应用消费。[] 消息会话工厂类 在使用消息生产者和消费者之前，我们需要创建它们，这就需要用到消息会话工厂类——MessageSessionFactory，由这个工厂帮你创建生产者或者消费者。除了这些，MessageSessionFactory还默默无闻地在后面帮你做很多事情，包括服务的查找和发现，通过diamond和zookeeper帮你查找日常的meta服务器地址列表连接的创建和销毁，自动创建和销毁到meta服务器的连接，并做连接复用，也就是到同一台meta的服务器在一个工厂内只维持一个连接。消息消费者的消息存储和恢复，后续我们会谈到这一点。协调和管理各种资源，包括创建的生产者和消费者的。因此，我们首先需要创建一个会话工厂类，MessageSessionFactory仅是一个接口，它的实现类是MetaMessageSessionFactoryMessageSessionFactory sessionFactory = new MetaMessageSessionFactory(new MetaClientConfig());请注意,MessageSessionFactory应当全局共用一个[] 消息生产者 翠花，上代码package com.taobao.metamorphosis.example;import java.io.BufferedReader;import java.io.InputStreamReader;import com.taobao.metamorphosis.Message;import com.taobao.metamorphosis.client.MessageSessionFactory;import com.taobao.metamorphosis.client.MetaClientConfig;import com.taobao.metamorphosis.client.MetaMessageSessionFactory;import ducer.MessageProducer;import ducer.SendResult;public class Producer { public static void main(String[] args) throws Exception { // New session factory,强烈建议使用单例 MessageSessionFactory sessionFactory = new MetaMessageSessionFactory(new MetaClientConfig()); // create producer,强烈建议使用单例 MessageProducer producer = sessionFactory.createProducer(); // publish topic final String topic = meta-test; producer.publish(topic); BufferedReader reader = new BufferedReader(new InputStreamReader(System.in)); String line = null; while ((line =