分库分表或单库可行性调查研究.docxVIP

分库分表或单库可行性调查研究区分单库or 分库：单表数据量是否超过1000万整体是否对事务性有严格要求执行的sql语句的灵活性单库支持解决方案：数据量有限（1000万为标准），单库支持性好，保持数据的一致性（事务处理）， 可以进行join等复杂查询。通用化，技术成熟。缺点：数据读写必须经过sql解析，大量数据、高并发下读写性能不足（高并发可通过使用读写分离，双机热备，负载均衡等技术来解决）mysql or oracle?Oracle是大型数据库而Mysql是中小型数据库，Oracle市场占有率达40%，Mysql只有20%左右，同时Mysql是开源的而Oracle价格非常高。Oracle支持大并发，大访问量，是OLTP最好的工具。安装所用的空间差别也是很大的，Mysql安装完后才152M而Oracle有3G左右，且使用的时候Oracle占用特别大的内存空间和其他机器性能。Oracle也Mysql操作上的一些区别，大多数人对oracle不熟悉tddl：并非独立的中间件，只能算作中间层，是以Jar包方式提供给应用调用。属于JDBC Shard的思想，需要 独立的diamond 配置中心来配置读写分离，可以一主多备实现读写分离优点：1.数据库主备和动态切换2.带权重的读写分离3.单线程读重试4.集中式数据源信息管理和动态变更5.剥离的稳定jboss数据源6.支持mysql和oracle数据库7.基于jdbc规范，很容易扩展支持实现jdbc规范的数据源8.无server,client-jar形式存在，应用直连数据库9.读写次数,并发度流程控制，动态变更10.可分析的日志打印,日志流控，动态变更缺点：读节点机制不明确需要依赖diamond已停止更新，有问题修改难度大Mycat：数据库中间件产品，详细情况分库策略的时候会介绍优点：支持读写分离、双机热备，宕机自动切换多线程读写可提交bug， 社区活跃缺点：独立的服务配置Sql 表 不支持`号，即需要规避表名与系统关键字名相同的情况分库分表解决方案：1．大数据量的存储需要大量的数据库资源；2．数据量的不断增长要求数据库存储具有可扩展性；3．在保证大数据量的情况下，要保证性能、高可用性等质量要求；4．现有框架中没有彻底解决大数据量的存储问题；5．Oracle等海量存储方案价格不菲，采用MySQL进行分库分表节约IT成本。Cobra:关系型数据的分布式处理系统，它可以在分布式的环境下看上去像传统数据库一样为您提供海量数据服务。优点：分布式Ha（多主自动切换）产品约束：1、不支持跨库情况下的join、分页、排序、子查询操作。2、SET语句执行会被忽略，事务和字符集设置除外。3、分库情况下，insert语句必须包含拆分字段列名。4、分库情况下，update语句不能更新拆分字段的值。5、不支持SAVEPOINT操作。6、暂时只支持MySQL数据节点。7、使用JDBC时，不支持rewriteBatchedStatements=true参数设置(默认为false)。8、使用JDBC时，不支持useServerPrepStmts=true参数设置(默认为false)。9、使用JDBC时，BLOB, BINARY, VARBINARY字段不能使用setBlob()或setBinaryStream()方法设置参数。缺点：会假死就是假死以后，Cobra的频繁主从切换问题只实现了一半的NIO后端写入的的速度要大于前端消费的速度，在跨分片查询的情况下，这个现象更为明显，于是写线程就在这里会被阻塞。不支持读写分离开发已停止更新虽然Cobar也可以支持Order By、Group By、Limit语法，但是结果没有进行聚合，只是简单返回给前端，聚合功能还是需要业务系统自己完成不支持全局主键Mycat：，它是一个开源的分布式数据库系统，是一个实现了MySQL协议的的Server，前端用户可以把它看作是一个数据库代理，用MySQL客户端工具和命令行访问，而其后端可以用MySQL原生（Native）协议与多个MySQL服务器通信，也可以用JDBC协议与大多数主流数据库服务器通信，其核心功能是分表分库，即将一个大表水平分割为N个小表，存储在后端MySQL服务器里或者其他数据库里。优点：1、支持SQL92标准2、支持MySQL集群，可以作为Proxy使用3、支持JDBC连接Oracle、DB2、SQL Server，将其模拟为MySQL Server使用4、支持Galera for MySQL集群，Percona Cluster或者MariaDB cluster5、提供高可用性数据分片集群，自动故障切换6、支持读写分离，支持MySQL双主多从，以及一主多从的模式7、支持全局表，数据自动分片到多个节点，用于高效表关联查询8、支持独有