金融行业分布式架构数据库运维转型.docx

? ? ? ? ? ? ? 金融行业分布式架构数据库运维转型 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 【摘要】分布式架构可能是近几年最火的话题。从集中式、SOA到分布式架构，本文回顾了这些年金融行业经历的架构演变；结合当下一些较典型的分布式数据库的实现原理，分析了分布式数据库的三个发展阶段。分布式数据库的应用解决了传统数据库性能扩展问题的同时，也给运维人员带来了挑战。那么，分布式数据库的管理究竟多了些什么？如何管理好？未来数据库和数据库运维又将去往何方？读过本文，你可以找到答案。 一、金融行业这些年经历了怎样的架构演变？ 1. 集中式架构 分布式架构可能是近几年最火的话题，与之相对的则是集中式架构，后者是传统金融行业如银行最常见的部署架构。在“去IOE”之前，各大银行的目标还停留在将集中式单点做强做大，不少银行采用IBM的主机系统就是鲜明的例子。数据库服务器更是如此，通常都是采用最好的机器。 近几年，随着银行业务增长，互联网行业爆发，用户行为模式发生变化，集中式架构的系统面临很大的挑战。问题主要体现在扩展性和可用性这两方面： 1. 扩展性 集中式架构的横向水平扩展能力非常低。面对性能不足，用户能做的就是加CPU、加内存、换存储、换机器等方式。 2. 可用性 集中式架构的服务能力依赖高性能的主机。然而一旦主机出现故障，上面的服务就会受到影响。应对这个问题的方案就是搭建高可用架构。每一个环节都需要考虑冗余和HA。集中式架构下这几乎是最好的方式了。然而无论哪个环节出故障，影响的都是全局服务。 这种架构下的数据库也是通过做主备机冗余，HA服务自动管理切换满足高可用性。性能方面通常也是采用纵向扩容的方式。然而纵向扩容是有限制的。如果最强的主机都搞不定了怎么办？ 图 1. 集中式架构 在集中式架构的数据库里面有一个例外，那就是MPP数据库。为了解决单节点数据库性能上限问题，某些数据库厂商开发出来MPP数据库。这种数据库算是一套集群，数据分布在这些集群的节点上，数据查询服务也能下推到这些节点完成。通过数据分发和功能分发，充分利用多节点的处理能力，这简直就是现在的分布式先驱。 图 2. 集中式MPP架构 图中协调节点CN并非是一个特殊组件，这可以是任何一个DN。不过这类产品是面向OLAP的，是为了解决大查询问题，和现在分布式的方向并不一样。 2. 面向服务的架构（SOA） 在互联网浪潮还没到来，分布式架构还未兴起的时候，为了解决单机性能瓶颈和全局服务可用性问题，最初的方案是业务拆分，也就是面向服务的架构（SOA）开始应用起来。纯粹的SOA其实是一个组件模型，它将应用程序的不同功能单元（称为服务）进行拆分，并通过这些服务之间定义良好的接口和协议联系起来。SOA架构曾经流行了一段时间，当然现在更火的是微服务模式。 图 3. SOA架构 当时有很多银行将自己的核心系统依照这个思路拆分，一个大系统拆成多个小系统或者是组件。优点是服务拆分之后实现了部分性能扩展。之所以说是部分，是因为总有些核心服务是热点，没有办法做到拆分的。随之带来的缺点是系统调用链复杂程度增加了，数据在不同服务间的同步要求变多变复杂，然后系统和服务器的数量增多了。即便是采用了SOA的思路，还是没有彻底解决热点功能的性能问题和可用性问题： 1. 没有实现核心功能的水平扩展，单个功能还是属于集中式架构部署。 2. 没有实现数据水平拆分，解决不了大数据量的问题，反而带来了不同系统数据同步的复杂需求。 3. 分布式架构 就在金融行业还在忙着为系统功能拆分改造，给新的小机打预算的同时，中国的互联网科技行业正在发生大的变革。 大数据技术发展：第一大变革是各种分布式开源软件走向成熟并被充分利用。分布式存储、分布式计算、分布式消息中间件引领大数据行业变革。这些分布式技术简单粗暴的解决了大数据量、高吞吐量和高可用性的难题。这些难题对业务系统和后台的数据库同样存在。看起来数据库走向分布式才是终极解决方案。然数据库行业的领先者们并没有像拥抱云技术那样去拥抱分布式数据库，反而给了众多初创数据库企业机会。 互联网消费行为：另外一大变革是互联网行业改变了用户的消费行为。这几年网络运营商在提速降费，互联网移动设备出货量飙升，用户的消费习惯也大量从线下转移到线上。中国的人口红利在互联网产业发挥的淋漓尽致。对于金融行业来说，用户消费行为的变化带来的是对金融科技的挑战。交易量和数据量都在不停攀升高峰。尤其是网银，手机银行等渠道类业务都将面临集中式架构性能瓶颈问题。 其中最典型的就是阿里。阿里从2011年开始基于成本因素的考虑逐步去IOE，同时年年祭出了双十一成绩单。高帅富的小机替换成了PC机，Oracle数据库换成了开源MySQL数据库，同时自研分布式中间件TDDL实现横向扩展。