浅谈数据库的分割技术.pdfVIP

浅谈数据库的分割技术 电信信息化部/周陈雄 关键词 读写分离分布，垂直分割，水平分割，虚拟化存储，WEB 缓存分割， 存储 CACHE 缓存分割 随着社会的日益进步，各行业的运营支撑系统都面临着越来越大的压力，承受着业务 数据量、访问并发数的飞速增长的双重巨大压力，在我们电信行业，同样面临着这样的难 题，是否有一套适合可行的方案来应对呢？ 本文重点描述数据库的分割技术，如果能适当的应用在生产中，必然能极大减缓来自 与日俱增的业务量带来的巨大压力。 如何分割？我们可以从如下六个方面来考虑： 一、读写分离分布技术 由于数据库存在这样的特性，索引可以提升查询的性能，但却极大地影响了更新的性 能。面对此类矛盾很多人都很困惑，其实我们可以对其进行分割，将实时更新的数据库同 步复制到另外一个库中，该库以读操作为主，而索引则建立在只读库中，实现了最简单的 读写分离。当前计费应用中已经使用了该技术，采用的是 DSG 同步复制软件工具，取得了 不错的效果。 Myspace公司早期（2004年前后）只有50万用户时，数据库服务器无法满足当时的要 求。后来采用了三台SQL SERVER服务器，一个为主，所有数据向它提交，再由它复制到另 外两个库上，这样减少了压力，成功的度过了难关。 二、垂直分割技术 随着业务的发展，Myspace 公司在 2005 年用户达到了 200 万，存储成了最大的瓶颈。 此时该公司进行了第二次切割，对数据库采用垂直分割，分出多个数据库，不同数据库运 1/3 行不同业务，这样极大的缓解了IO，再次度过了难关。 在计费系统中，也采用了这样的技术，成功的将原有的数据库分离成账务 cal、统计 stat、计费 bill 等多个数据库，也极大的缓解了 IO 的瓶颈，这也是成功的垂直切分技术 的运用。 三、水平分割技术 Myspace 公司随着业务的飞速发展，很快在 2006 年实现了千万用户的飞速增长。这个 时候，由于业务量过于庞大，被切割出的每一个单独的业务难以避免产生IO瓶颈，这个时 候水平分割技术得以应用。Myspace公司对所有的用户进行了水平分割，平均一个数据库保 存了多个用户及对应信息，多的数据库用户数达到近 200 万个。这样数据库无形中又被进 行了进一步的切割了，变的更细小了，无论IO访问响应还是数据迁移，都得到了极大的提 升，Myspace公司再次度过了难关！ 当前电信诸多项目并未在水平切割上做太多的规划，实际上我们可以借鉴 Myspace 公 司的成功案例，尝试将水平切割技术可以应用到我们电信项目中，成为应对缓解数据库压 力的利器之一。 四、虚拟化存储技术 水平分割可以解决数据库主机的性能问题，但是还可能存在这样的一种情况，就是被 切割的数据库及用户可能存在有的访问量大，有的访问量小的不均匀情况。这个时候我们 可以考虑引进现在新的存储技术，比如虚拟化存储技术，比较著名的有3PARdata的虚拟存 储技术，让存储统一管理负载均衡。 五、WEB缓存分割技术 Myspace 公司在 2008 年用户数终于突破了亿的大关，这个时候他们引进了新的技术， 就是数据缓存层技术，在 WEB 和数据库服务器之间做了一次分割，增加了一个能存储频繁 访问内容的数据库副本，这样极大地减少了访问的量，原先1000个用户查询同一数据，需 查询数据库 1000 次，现在也许只需要 1 次。WEB 缓存切割成功地支撑住了过亿用户访问量 2/3 的巨大压力。当前网管项目组中通过自我编程的方式进行WEB缓存，并取得了不错的效果， 这种思想正是切割技术的体现。 六、存储CACHE缓存分割技术 为了进一步提升在数据库方面的支撑能力，最后 Myspace 公司在数据库和物理存储中 再次做了切割，引入了存储的多层 CACHE 机制，数据库在写入到多层 CACHE 后，交互就算 完成，这样极大的减少了IO