基于SP／MC网络模型的分布式交易系统设计和实现.pdfVIP

specialstudy 本刊 基于SP／MC网络模型的分布式交易系统设计和实现 欧鹏 ，庄晓，曾进 ，王笑 ，程论 ／中国银联股份有限公司技术开发中心 1．1SP／MC模型 生产者和消费者之间对数据的处理是独立进行，但是 随 黧 其交换数据使用了共享资源，一般使用队列作为缓存，两 用性和性能方面都有不同程度的提升，现 已具备处理每秒 者对队列的存取是并发进行，因此，需要使用一些同步方 万笔交易的能力。高效的网络通信框架和系统分布式化是 式保护共享资源。当队列中数据满的时候，生产者无法再 解决海量客户请求的两个关键技术。 生产，必须等待消费者，消费者取出队列数据时发出事件 现有高性能网络通信框架在事件分发和通知的实现主 通知生产者，才可继续生产数据；同理，当队列为空时， 要使用Reactor模式实现…，事件分发后对后续数据的处理 消费者必须等待生产者，生产者生产数据并发出事件通知 没提供相应的模型 (一般由用户 自己实现)。生产者消费 消费者，才可继续处理数据。文献U0l提出了常用P／C模型 者模型是最早用于经济领域的模型，之后被引入计算机领 的描述，如图1所示，P和C之间使用队列 (QueueBuffer) 域中用于解决并发和同步问题，如：该模型在多核并行计 实现，共享资源队列使用Monitor方式同步。Monitor除提 算中的应用 2【】，该模型可 以作为多核环境下的编程范型 供了对buffer提供互斥锁序列化读写操作，还提供一种事 。 生产消费者模型 (P／C)的本质是通过引入缓冲区在 件通知机制。P写入数据至Buffer前，先判断Buffer是否 一 定时间内缓解生产者和消费者之间的速率不匹配问题 。 满，满则等待；如果Buffer不满则添加数据，添加数据后 在一定前提条件下，通过调整缓冲区大小，生产者和消费 使用semaphore通知C。C从Buffer中读取数据前，先判断 者的比率等方式都可提高P／C模型的效率。交易系统的后 Buffer是否为空，空则等待；如果Buffer不空则获取数据， 台业务逻辑复杂，数据处理操作与接收数据请求相 比耗 获取数据后通知P。 费时间更多，符合P／C模型 (单生产者多消费者模型，即 SP／MC模型)的应用场景以解决系统中临界资源的共享管 理 。 分布式系统的高可靠，高可用和横 向扩展能力是解 决大量客户请求的有效手段I。分布式系统多实例部署结 构 ，提高了可用性和系统吞吐量 。多实例之 间互为热备 ， 也加强了系统的可靠性。分布式系统可简单通过系统实例 的简单增加即可满足前段请求剧增的需求。因此，交易系 统的分布式化是大交易系统改造的趋势。 本文提 出了基于SP／MC的网络模型 。描述 了一种基 于该模型的分布式交易系统的设计和实现。介绍了该系统 的总体设计架构和分布式结构，然后描述了系统如何实现 各种分布式特性及一些通用服务的实现，如：异构系统接 入，负载均衡，延迟重连。最后通过多次实测数据，展现 了基于sP／MC网络模型的性能和基于该模型的交易系统性 能。 1基于SP／MC的网络模型 生产者和消费者模型 (P／CMode1)可以适用于多种 应用，是一种解决并发 问题的经典范型 】。根据P，C数 目不同，P／C模型衍生出四种类型：单生产者一单消费者 (SP／SC)，单生产者．多消费者 (SPM／C)，多生产者一单 消费者 (MP，SC)，多生产者一多消费者 (MP／MC)。 图l典型的P／C模型的应用实例 ● ——————————一 ． 中图分类号：TP3 67 I - ’-一CDSoftwareandApplications