海量数据：可配置的分库分表22.pdf

海量数据：可配置的分库分表 2.12.1 背景 为了应对产品海量⽤户的愿景需求，这⾥将设计⼀个分布式的数据库存储 案，以便 能满⾜数据量的骤增、云服务的横向扩展、后台接⼜开发的兼容性，以及数据迁移等 问题，避免⽇后因为全部数据都存放在单台服务器上的限制。 2.12.2 主要思想 1、分库分表 2、路由规则 3、扩展字段 4 、可配置 5、SQL语句⾃动⽣成 (1)分库分表 是指将不需要进⾏必要关联查询的表分开存放，如存放事件推送的weili_event_pushto 和存放标签的weili_tag ；同时，对于 同⼀个表，因为存放的数据量是可预见式的暴 增，如上述的weili_event_pushto ，每时每刻都会产⽣⼤量的来⾃⽤户发布的事件，因 此为了突破 MySQL单表的限制以及其他问题，需要将此表同时创建N份。 (2)路由规则 在上⾯进⾏了分库分表后，开发⼈员在读取时，就需要根据相应的规则找到对应 的数 据库和数据库表，这⾥建议每个表都需要有int(11)类型的id字段，以便作为分表的参 考。 (3)扩展字段 在完成了分库分表和制定路由规则后，考虑到⽇后有数据库的D 变更，为减少D 变 更对现有数据库表的影响，这⾥建议每个表都增加text类型的extra_data字段，并且使 ⽤j son格式进⾏转换存储。 (4)可配置 在有了N 台数据库服务器以及每个表都拆分成M张表后，为减少后台接⼜开发⼈员的 压⼒，有必须在后台接⼜框架提供可配置 的⽀持。即：数据库的变更不应影响开发⼈ 员现有的开发，也不需要开发⼈员作出代码层⾯的改动，只需要稍微配置⼀下即可。 关于这块，请见下⾯的框架实现部 分。 (5)SQL语句⾃动⽣ 对于相同表的建表语句，可以通过脚本来⾃动⽣成，然后直接导⼊数据即可。 2.12.3 PhalApi框架的实现⽅案 PhalApi框架主要需要实现的是路由这⼀层的映射，并且通过可配置的 式进⾏控制， 同时还应⽀持⽣产环境和测试环境的异同，如在测试环境我们明显不需要1000张数据 库的表。为此，需要提供⼀种 表名 + id 映射到 数据库服务器 + 具体哪张表 的规则。 如上图所⽰，表名会统⼀加上前缀，并且将id按⼀定的表总数进⾏取模，最后再根据 得到的具体表名，通过映射表查找到对应 的数据库服务器进⾏操作。其中，model层 为开发实现，数据库表的映射由接⼜框架实现⽀持。 2.12.4 使⽤⽰例 (1)配置数据库的路由配置 修改./Config/dbs.php⽂件，以下是参考的⽰例配置。其中servers为D 服务器，包括数 据库的账号信息等，tables为数据库表的映射关系，其中default下标为缺省的数据库路 由。 在每个数据库表⾥⾯，可以配置多个数据库表，通过开始的下标start和结束的下标end 来对表进⾏分布式存放，并且如果没有start和end的，则视为不需要拆分存放，同时也 是当找不到合适时的拆分表时所采⽤的默认配置。 return array( /** * avaiable db servers */ servers = array( db_demo = array( host = localhost, //数据库域名 name = test, //数据库名字 user = root, //数据库⽤户名 password = 123 56, //数据库密码 port = 3306, //数据库端⼝ ), ), /** * custom table map */ tables = array( __default__ = array( prefix = tbl_, key = id,