下一代容灾数据库集群技术精要.ppt

March 13, 2006 Privileged and Confidential (c)2006 May 22, 2005 PCTI Highly Confidential and Restricted, PCTI 中心问题 系统可靠性 系统的性能 系统服务可用性 核心问题：能否构建一个数据库集群系统，使得其象其他应用级集群系统那样在上述三方面同时具备良好的伸缩能力？ 关键词 冗余 数据一致性 可伸缩性 零切换 等等 进入演讲…… 提纲 公司背景 美国并行计算技术公司开发并销售用于增强数据库系统性能和可靠性的中间件,包括:同步数据复制,服务器容错以及并行事务处理等产品。这些产品适合于具有中到大型关键电子数据处理系统的企业和单位。 总部：美国宾夕法尼亚州 具有美国国家技术专利，美国专利号：USPTO #6,421,668。 市场前景极为广阔，已在美国、中国、日本、澳大利亚等有不少成功案例和大量的测试用户 最薄弱的环节 (最后一公里) 数据库停机服务的统计 数据库停机服务的损失 串行数据库复制与“最后一公里”问题 数据库保存了任何有意义计算的最终结果。然而，这些结算结果的复制天生是串行的。 由于串行的特性，当前的备份和高可用性产品/方案存在众所周知的缺点：管理复杂、易出错、价格昂贵和低效率。 由于串行复制的局限性，数据库系统变得难以管理，可伸缩性差 (信息基础设施的 “最后一公里”问题)。 减少数据库停机时间可以挽救成百万美元的业务损失。 灵活的数据库集群结构可以减少投资风险。 串行复制的困难: P, Q 和 ? 同步: 主服务器的速度受到限制，被迫和进行串行处理的备份服务器的速度保持一致。主服务器或备份服务器只要发生任何问题，都将导致事务处理回滚，因此系统的可用性(P)降低了一半。 异步: 必须存在一个队列Q ，使得主服务器的处理速度?in (并行处理) 和备份服务器的处理速度?out (串行处理)。(?in ?out)以为着队列变成无穷大 (Q-∞) –严重的队列溢出问题。 串行复制存在的困境 异步数据库复制 (“主数据库先行”)技术具有先天的队列溢出问题。 只能产生一份昂贵的温备份(warm standby)，同时主数据库的性能受到影响。 同步数据库复制技术采用了两阶段提交协议 -- “All or nothing”，与单机系统相比，会导致更多的停机时间。 同步数据库复制技术抑制了主数据库服务器的性能。 当前的数据库分区技术使得系统的可用性大为下降。 当前，不存在同时取得数据库高性能和高可用性的可能性。 目标 必须速度快，无论多大的数据集，多频繁的查询请求。 必须随时可用，无论发生什么样的软硬件错误。 必须利用现存的数据库访问方法。 必须是非入侵方式部署。 必须管理简单。 必须充分利用现有的软硬件资源，降低成本。 困难所在何处? 一个简单的问题: 我们究竟能不能同步复制并发的事务处理? 如果答案为“是”,那么数据库的可伸缩性和可用性就容易做到,并且成本低廉。 否则,数据库的可伸缩性和可用性就很难提高,并且代价很高。 为什么业界“大腕”解决不了呢? 数据库厂商希望这问题在他们的数据库引擎内部解决 - 日志复制(log shipping)及其它非同步复制工具。 中间件厂商只在意向客户提供新的功能. 他们并不在意数据库基础设施本身- 采用两阶段提交(2PC)的同步复制技术。 数据库方面的这个问题,由于摩而定律而暂时缓解了: 每十八个月CPU主频翻一番。现在摩而定律快结束了。2004年10月英特尔取消了主频为4GHz的Prescott微处理器的生产，这标志着摩而定律的正式结束。 我们的技术突破 开发出一个开销低、动态的事务处理同步复制算法(不是两阶段提交协议，同时不存在队列溢出问题)，具备ACID特性 (原子性、一致性、孤立性、和持久性)。 开发出一个具有5个9(99.999%)的系统可靠性 的技术，用以重新同步多个不一致的数据库服务器 (三秒钟的网络静默时间，与数据集大小无关) 美国专利 USPTO #6,421,668。 ICX并发事务复制 高可靠性 由于ICX使得系统同时保持了多个实时一致的数据集，因此大大提高了该数据库数据的可靠性和安全性，同时明显简化了数据备份的过程，甚至不需要象现在通常的做法那样进行数据备份了。同时ICX网自身可以做HA(双机热备份)，这样真正消除了单点错误源，大大提高整个系统的可靠性，使系统真正达到5个9(99.999%)的系统可靠性。 高性能(1/3) 高性能(2/3) 高性能(3/3) 高服务可用性 特性列表 彻底消除了由集群扩展、软硬件修复和升级带来的计划停机服务。 彻底消除了由软硬件和网络错误带来的计划外停机服务。 自动的数据库查询负载均衡，带来更高的性能。