《MySQL的B2C电商系统前端数据层架构》.docVIP

麦包包简朝阳：MySQL的B2C电商系统前端数据层架构 发布时间:2011-04-26 10:04 点击数：1621 ? 内容简介：2011年4月23日，主题为《云计算技术沙龙——大规模互联网架构实战》的第九期TUP活动在中国科学院计算技术研究所一层报告厅举行，本次沙龙活动主要涉及基于MySQL的B2C电商系统前端数据层架构、应对规模和复杂性挑战、Hadooop未来走向等话题。 ? ? 在 此次活动中，来自麦包包技术保障部总监简朝阳发表了《MySQL的B2C电商系统前端数据层架构》演讲，在此次演讲中，他带来了三方面的技术分享，一个是 基于MySQL常见一些高可用可扩展架构分析；另一方面是基于日志解析对现在一些数据库常见架构方面一些扩展，包括一些可靠性或者高可用性以及一些问题解 决方面的内容；再有就是基于用户行为分析系统的一个数据层的构建。 ? ? ? 麦包包技术保障部总监简朝阳 ? 以下是简朝阳的演讲实录： 大家好，我是来自麦包包技术保障部的简朝阳，今天我分享的主题是基于MySQL的B2C电商系统前端数据层架构。我之前在互联网企业工作，也是与电子商务相关。之前我自己写过一本MySQL方面的书，可能有些同学看过。 今天主题主要有三个方面，一个是基于MySQL常见一些高可用可扩展架构分析；还有是基于日志解析对现在一些数据库常见架构方面一些扩展，包括一些可靠性或者高可用性，包括一些问题解决方面的内容；最后就是基于用户行为分析这样一个系统的一个数据层的构建。 基于MySQL常见一些高可用可扩展架构分析 常见架构在高可用方面有硬件高可用和数据高可用，因为是数据库、数据层这块，硬件给我们支 持数据，数据怎么保护它，怎么让它保护我们的业务正常运行，这两块是重要的。冗余基本上无外乎增加一些备份、备用设备，再一个存储设备的备份，电源的双电 源等等这方面的内容，可能这个应该不需要太多的深入讨论，因为这个是比较熟悉的。熟悉高可用可能是我们更关注或者说对大家更有用。数据高可用通过两种方 式，一个是共享方式解决，同一份数据被多个主机挂载，这是一个共享的方式。还有就是冗余，多种数据的方式。比如我们通过自己实现或者是第三方实现的数据的 程序，这里是数据同步方面的东西，数据多重拷贝来进行多方面访问。这个数据出现问题了，还有其他的数据来保证业务持续下去。 看看共享方面，这是我画的一个架构图，共享的话底层我们的Storages而是一份数据或 者是有可能是几份数据，通过中间的交换设备，比如说我们的同构网络，SaaS，通过这样的协议来交换主机。主机可能是一两个节点或者是多个节点承接这个数 据，数据做任何变化的时候都是被前端这些节点同时操作，通过底层协议相关的关系来达到我们这个数据的高可用。比如我前端这个节点，数据库或者说我其他的存 储设备主机节点出现问题，我数据只要在，我马上可以启用备用节点使用这个数据，不会有任何中断。这是目前比较常见的数据共享这种方式，这是我们今天所要讨 论的MySQL。 MySQL的高可用架构是大家比较了解的数据复制的方式，也是目前在整个业界使用 MySQL最多的一种保证它的高可用、扩展的一个方式。MySQL数据库的复制跟其他的数据库有点不一样，他是基于逻辑复制，不是独立一个个数据库拷贝， 他是从日志里面解析出来，而不是说我主节点有什么数据块的变化再复制到背景里面去。所以MySQL在这个过程中没有主机的限制和协议的限制，这给我们 MySQL的利用过程中带来很大的灵活性。 我这里画了一个基本常用的架构图，是双的主节点相互护持，还有三个备节点，可能还有多个节 点。我的两个写入节点已经是高可用了，一个节点出现问题，另外一个节点马上可以启用。我们可以通过第三方，比如说类似开源的HA管理人员管理我们的数据 库、网络、资源，这里面一个节点任何一个方面，比如网络、数据库出现问题之后，他马上可以通过浮动IP切换，使用另外一个节点提供服务，很好的保证了我们 前端写入节点高可用。项目使用，如果使用共享存储或者说共享设备的方式，存在的一个问题就是你的存储数据在提供服务的时候，你只是被一个点去锁住，一旦要 切换，你首先遇到一个问题就是必须在主机端要解这个锁，释放这个资源。然后再加锁，再使用这个资源，这个过程很长，如果遇到任何问题就会卡住，HA切换就 会遇到问题。但是这种非共享被复制的方式高可用就不会遇到这个问题。因为他的数据是不会加这个锁，数据可以随便写的。所以这共享设备的HA切换，一般消耗 的切换时间都需要比通过冗余方式来切换时间要长，你出现故障要切换的时候，碰到冗余的方式就是几秒钟一切换就完了。但是如果你使用共享设备，如果你底层一 些存储量比较大，可能要花比较多的时间才会切换完。几秒钟和几分钟对我们的客户来说是有很大的差距的，所以在高可用这一块，可能再通过冗余方式