数据库技术交流1.ppt

大纲 一、数据库技术发展和演进 二、分布式内存数据库技术发展现状 三、内存数据库的快速索引技术和压缩技术 四、内存数据库和磁盘数据库的区别 五、内存数据库的最新研究成果 六、传统数据库常用的分布式技术研究 七、NoSQL数据库的分布式技术研究 一、数据库技术发展和演进-演进阶段 以硬件为中心 在二十世纪七十年代，数据库的实现方案都把注意力集中在能提供联机的对信息的访问技术，着眼于获得处理效率，并尽可能最少使用价格昂贵的计算机硬件。 那时，能够为特殊硬件平台优化的那些由厂商专卖的即非开放式的数据库，是早期阶段用户唯一可能做出的选择。 一、数据库技术发展和演进-演进阶段 以用户为中心 二十世纪八十年代，硬件价格下降和个人计算机逐步普及，用户的信息需求显著上升，应用软件的开发生产效率成为关键的成功因素。 带有易于理解的、简单的、两维数据模型的关系型数据库管理系统，成为服务于用户查询和满足这类需求的大量报表生成的基础，并得到了广泛采用。 一、数据库技术发展和演进-演进阶段 以网络为中心 Internet得到了迅猛发展，应用系统的架构从采用C/S结构转变为以Web应用为主的处理阶段。 随着经济向全球化发展，现代化企业为了要在竞争中取得成功，它们的业务活动已经和日益增加的复杂事务交易应用紧密地联系在一起。 企业级的运作活动已涉及巨大数量的数据的采集和利用，越是有能力将更多的用户连接到更多的应用系统功能上去，就越能取得更大的、竞争上的优势。 以往的关系数据库系统本身具有的限制，使它难以适应建立以网络为中心的、企业级快速事务交易处理应用的需求，而后关系型数据库技术能为网络为中心环境提供所需的性能、扩展性、互操作性和安全性。 一、数据库技术发展和演进-产品发展 层次化数据模型和网状数据模型。 特点： 1.支持三级模式的体系结构，通过三种模式间的互相映射保证了数据库系统的物理独立性和逻辑独立性。 2.用存取路径来表示数据之间的联系。 3.独立的数据定义语言，模式一旦定义好，就很少修改。 4.导航性的数据操纵语言。 一、数据库技术发展和演进-产品发展 关系数据库系统。 特点： 1.关系（即表）是唯一的一种数据结构类型。 2.关系操作采用关系代数来实现，特点是集合操作。 3.关系数据库的语言为非过程化语句，从导航语句中解脱出来。 4.采用数据完整性来保证数据的一致性。 5.数据独立性好，屏蔽了底层的物理环节。 一、数据库技术发展和演进-产品发展 新的应用需要，如面向对象的程序设计环境（CASE）、计算机辅助设计与制造（CAD/CAM）、地理信息系统（GIS）、多媒体应用、基于Web的电子商务，以及其他非商用领域的应用。对数据库提出了新的要求： 1.存储和处理复杂对象。此类数据往往内部结构复杂，很难用普通关系结构表示。 2.支持复杂的数据类型，并要求对数据要有一定的扩展能力。 3.需要常驻内存的对象管理以及支持大量对象的存取和计算。 4.实现程序设计语言和数据库语言无缝地集成。 二、分布式内存数据库技术发展现状 经典的MySQL集群，通过读写分离，水平切分，实现海量数据存储。为应对海量数据存储，内存数据库同样需要做集群。垂直和水平切分策略，可用性策略与MySQL集群架构设计基本相同。如图所示，其中Ameoba是分布式数据库代理，它进行数据路由等控制。 唯一的不同是，由于内存数据库的高性能，可以不再进行读写分离设计。 二、分布式内存数据库技术发展现状 内存数据最终仍需要持久化到磁盘。这里需要一种混合分区(Hybrid Shard)来解决。即原来一个MySQL节点承担的一个水平分区，将由一个内存数据库节点和一个MySQL节点共同组成。 这种数据库架构将形成由两级数据库(2LDB)，混合分区构成的集群。如图所示： 二、分布式内存数据库技术发展现状 通过引入内存数据库作为中间持久层，再加入分布式架构以支撑海量数据访问，这种架构设计颇具挑战。最先而易见的情况就是新架构的复杂度，正如大规模MySQL集群架构诞生初始一样。 二、分布式内存数据库技术发展现状 以 H2 ，一个开源的高性能内存数据库为例对所面临的挑战进行说明： 1、整合 Ameoba 与 H2：Ameoba 是分布式数据库代理，它与 MySQL 整合已经在阿里巴巴核心业务中成功运用。如果仅将数据库节点看作一个存储，MySQL Node 和 H2 Node 并无本质区别。JDBC驱动，DB切分，路由，皆由Ameoba 统一负责。 2、分布式事务：数据库切分架构带来分布式事务问题，对一些事务要求较高的场景，这颇具挑战。目前一种比较一致意见和做法就是冷处理——尽量不用事务。 一致性问题根据业务的特点，采用数据订正来解决；个别业务使用补偿事务。因为目前大部分应用，即便是核心业务，对事务的要求也不高