MyCAT专家系列之MyCAT前世今生.docVIP

MyCAT专家系列之MyCAT前世今生 1.0版本——美玉无痕出品 Mycat 新一代Mysql分布式集群，大数据处理中间件，中国第一开源软件，欢迎志愿者参与： /p/opencloudb/ 本文档由Mycat志愿者团队提供，转载请注明，谢谢。 如果我有一个32核心的服务器，我就可以实现1个亿的数据分片，我有32核心的服务器么？没有，所以我至今无法实现1个亿的数据分片。——MyCAT ‘s Plan 序章 话说“每一个成功的男人背后都有一个女人”，自然MyCAT也逃脱不了这个诅咒，MyCAT背后是阿里曾经开源的知名产品——Cobar，核心功能和优势是MySQL数据库分片，此产品曾经广为流传，据说最早的发起者对Mysql很精通，后来从阿里跳槽了，阿里随后开源的Cobra，并维持到2013年年初，然后，就没有然后了。 Cobra的确做的很不错，基于Java，实现了MySQL二进制协议，因此可以将自己伪装成一个MySQL Server，并且很多MySQL客户端都能访问，这个做法很好，比自己实现一个新的数据库协议要明智的多，因为生态环境在哪里摆着。 由于是Java开发的，下载下来解压，只要配置几个不是很复杂的配置文件，猛击鼠标，就能启动Cobra，因此这个开源产品赢得了很多Java粉丝的追捧，当然，笨人也跟着进入，并且在某个大型云项目中——“苦海无边”的煎熬过。 爱情就像是见鬼，你根本不知道鬼是怎样的，只有撞见鬼以后，你才真正明白，什么是爱情。爱情也会很快褪色，你不会告诉TA你不好的地方，你会拼命将你的优点无限放大，就差把自己当成世界上第二伟大的人了。相信每个用过Cobra的人都经历了这样的过程，围城里的人已经出不来了，但还有更多的人拼命想挤进来。 仅以此文，献给哪些努力在IT界寻求未来的精英们以及小白们，还有更多被无视的，就差要打算转行的同仁人，同在江湖混，不容易啊，面试时候就装装糊涂，放人家一马，说不定，以后又是一个Made in China的乔布斯啊。 第一章节 关于Cobra的十个秘密 第一个秘密：纳尼，Cobra会假死？ Cobra的确会假死，很多人遇到这个问题，如何简单的来验证这点呢？我们来做个小实验，假如你的分片表中配置有表company,则打开mysql终端，执行下面的SQL： select sleep(500) from company; 此SQL会执行等待500秒，你再努力以最快的速度打开N个mysql终端，都执行相同的SQL，确保N当前Cobra的执行线程数：show @@threadpool的所有Processor1-E的线程池的线程数量总和，然后你再执行任何简单的SQL，或者试图新建立连接，都会无法响应，此时show @@threadpool里面看到TASK_QUEUE_SIZE已经在积压中。 不可能吧，据说Cobra是NIO的非阻塞的，怎么可能阻塞！别激动，去看看代码，Cobra前端是NIO的，而后端跟Mysql的交互，是阻塞模式，其NIO代码只给出了框架，还未来得及实现。真相永远在代码里，所以，为了发现真相，还是转行去做码农吧，貌似码农也像之前的技术工人，越来越稀罕了。 第二个秘密：高可用的陷阱？ 每一个秘密的背后，总是隐藏着更大的秘密。Cobra假死的的秘密背后，还隐藏着一个更为“强大”的秘密，那就是假死以后，Cobra的频繁主从切换问题。我们看看Cobra的一个很好的优点——“高可用性”的实现机制，下图解释了Cobra如何实现高可用性： 分片节点dn2_M1配置了两个dataSource，并且配置了心跳检测(heartbeat)语句，在这种配置下，每个dataNode会定期对当前正在使用的dataSource执行心跳检测，默认是第一个，频率是10秒钟一次，当心跳检测失败以后，会自动切换到第二个dataSource上进行读写，假如Cobra发生了假死，则在假死的1分钟内，Cobra会自动切换到第二个节点上，因为假死的缘故，第二个节点的心跳检测也超时。于是，1分钟内Cobra频繁来回切换，懂得MySQL主从复制机制的人都知道，在两个节点上都执行写操作意味着什么？——可能数据一致性被破坏，谁也不知道那个机器上的数据是最新的。 还有什么情况下，会导致心跳检测失败呢？这是一个不得不说的秘密：当后端数据库达到最大连接后，会对新建连接全部拒绝，此时，Cobar的心跳检测所建立的新连接也会被拒绝，于是，心跳检测失败，于是，一切都悄悄的发生了。 幸好，大多数同学都没有配置高可用性，或者还不了解此特性，因此，这个秘密，一直在安全的沉睡。 第三个秘密：看上去很美的自动切换 Cobar很诱人的一个特性是高可用性，高可用性的原理是数据节点DataNode配置引用两个DataSource，并做心跳检