MySQL集群策略.docx

MySQL集群策略一、前言随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能，横向扩展数据层已经成为架构研发人员首选的方式。水平切分数据库，可以降低单台机器的负载，同时最大限度的降低了了宕机造成的损失。通过负载均衡策略，有效的降低了单台机器的访问负载，降低了宕机的可能性；通过集群方案，解决了数据库宕机带来的单点数据库不能访问的问题；通过读写分离策略更是最大限度了提高了应用中读取（Read）数据的速度和并发量。在这里，我们将重点介绍一下MySQL的集群策略。为了便于后文的对于集群方案的理解，我们先对分片、集群、复制、负载均衡等做一些简单的介绍。二、什么是Mysql数据分片（sharding）?Shard 这个词英文的意思是碎片，而作为数据库相关的技术用语，似乎最早见于大型多人在线角色扮演游戏中。Sharding 姑且称之为分片。Sharding 不是一门新技术，而是一个相对简朴的软件理念。众所周知，MySQL 5 之后才有了数据表分区功能，那么在此之前，很多 MySQL 的潜在用户都对 MySQL 的扩展性有所顾虑，而是否具备分区功能就成了衡量一个数据库可扩展性与否的一个关键指标(当然不是唯一指标)。数据库扩展性是一个永恒的话题，MySQL 的推广者经常会被问到：如在单一数据库上处理应用数据捉襟见肘而需要进行分区化之类的处理，是如何办到的呢? 答案是：Sharding。 Sharding 不是一个某个特定数据库软件附属的功能，而是在具体技术细节之上的抽象处理，是水平扩展(Scale Out，亦或横向扩展、向外扩展)的解决方案，其主要目的是为突破单节点数据库服务器的 I/O 能力限制，解决数据库扩展性问题。通过一系列的切分规则将数据水平分布到不同的DB或table中，再通过相应的DB路由 或者 table路由规则找到需要查询的具体的DB或者table，以进行Query操作。这里所说的“sharding”通常是指“水平切分”。以一个Blog应用中的日志来说明，比如日志文章（article）表有如下字段：article_id(int),title(varchar(128)),content(varchar(1024)),user_id(int)要想做到数据的水平切分，在每一个表中都要有相冗余字符 作为切分依据和标记字段，通常的应用中我们选用user_id作为区分字段，基于此就有如下三种分库的方式和规则： （当然还可以有其他的方式）按号段分：(1) user_id为区分：1～1000的对应DB1，1001～2000的对应DB2，以此类推；优点：可部分迁移缺点：数据分布不均(2)hash取模分：对user_id进行hash（或者如果user_id是数值型的话直接使用user_id 的值也可），然后用一个特定的数字，比如应用中需要将一个数据库切分成4个数据库的话，我们就用4这个数字对user_id的hash值进行取模运算，也就是user_id%4,这样的话每次运算就有四种可能：结果为1的时候对应DB1；结果为2的时候对应DB2；结果为3的时候对应DB3；结果为0的时候对应DB4，这样一来就非常均匀的将数据分配到4个DB中。优点：数据分布均匀缺点：数据迁移的时候麻烦，不能按照机器性能分摊数据(3)在认证库中保存数据库配置：就是建立一个DB，这个DB单独保存user_id到DB的映射关系，每次访问数据库的时候都要先查询一次这个数据库，以得到具体的DB信息，然后才能进行我们需要的查询操作。优点：灵活性强，一对一关系缺点：每次查询之前都要多一次查询，性能大打折扣以上就是通常的开发中我们选择的三种方式，有些复杂的项目中可能会混合使用这三种方式。 通过上面的描述，我们对分库的规则也有了简单的认识和了解。当然还会有更好更完善的分库方式，还需要我们不断的探索和发现。三、什么是MySQL集成?1、同步集群（mysql cluster）结构：（data + sql + mgm 节点）特点：1) 内存级别的，对硬件要求较低，但是对内存要求较大。换算比例为：1：1.1；2) 数据同时放在几台服务器上，冗余较好；3) 速度一般；4) 建表需要声明为engine=ndbcluster5) 扩展性强；6) 可以实现高可用性和负载均衡，实现对大型应用的支持；7) 必须是特定的mysql 版本，如：已经编译好的max 版本；8) 配置和管理方便，不会丢失数据；2、异步集群（mysql replication）结构：（master + slave）特点：1) 主从数据库异步数据；2) 数据放在几台服务器上，冗余一般