chap7 数据管理.pptx

第7章 数据管理朝乐门 中国人民大学chaolemen@数据科学中的数据管理内容简介图7-1数据科学中的数据管理（1）目录目录图7-1数据科学中的数据管理（2）学习目的学习目的学习目的学习目的图7-2 大数据时代的数据管理需求目录目录图7-1数据科学的基础理论（2）7.1基本类型7.1 基本类型图7-3 数据管理技术的类型7.1基本类型7.1.1 关系数据库关系数据技术不断趋于成熟事务（Transaction）处理能力两段封锁（Two-Phase Locking，2PL）协议两段提交（Two Phase Commitment，2PC）协议坚实的理论基础标准化程度高产品的成熟度高 7.1基本类型7.1.1 关系数据库事务（Transaction）处理能力 图7-4 事务的特征7.1基本类型7.1.1 关系数据库两段封锁（Two-Phase Locking，2PL）协议封锁的基本类型有：X锁：排它锁，事务T1对数据对象D1加了X锁之后，只要并未释放该锁，其他事务不能对数据对象D1加任何类型的锁。S锁：共享锁，事务T1对数据对象D1加了S锁之后，虽并未释放S锁，其他事务也可以对D1加S锁，但不能加X锁。 7.1基本类型7.1.1 关系数据库两段封锁（Two-Phase Locking，2PL）协议在关系数据库中，两段锁协议是指事务必须分两个阶段队数据对象加锁阶段和解锁阶段：加锁阶段：在该阶段可以进行加锁操作。在对任何数据进行读操作之前要申请并获得S锁，而在进行写操作之前要申请并获得X锁。如果加锁不成功，则事务进入等待状态，直到加锁成功才继续执行。解锁阶段：当事务释放了一个封锁以后，事务进入解锁阶段，在该阶段只能进行解锁操作不能再进行加锁操作。 7.1基本类型7.1.1 关系数据库 图7-5 两段封锁协议示意图7.1基本类型7.1.1 关系数据库两段提交（Two Phase Commitment，2PC）协议实现分布式事务的关键就是两段提交协议（2PC协议）在2PC协议中，把分布式事务的某一个代理(根代理)指定为协调者(Coodinator)，所有其他代理称为参与者(Participants)。 7.1基本类型7.1.1 关系数据库两段提交（Two Phase Commitment，2PC）协议图7-5 两段封锁协议示意图7.1基本类型7.1.1 关系数据库两段提交（Two Phase Commitment，2PC）协议图7-7 事务被回滚7.1基本类型7.1.1 关系数据库两段封锁（Two-Phase Locking，2PL）协议表决阶段：应用程序调用事务协调者中的提交方法执行阶段：事务协调者将事务的表决结果通知给每个参与者 7.1基本类型7.1.1 关系数据库坚实的理论基础关系代数Armstrong公理系统完整性约束理论规范化理论模式分解以及图论等 7.1基本类型7.1.1 关系数据库标准化程度高关系代数一般采用SQL语言进行数据库的查询、增加、更新、删除和索引操作，数据操作语言的标准化程度高。 7.1基本类型7.1.1 关系数据库产品的成熟度高Oracle公司的OracleIBM公司的DB2Sybase公司的Sybase微软公司的SQL ServerMySQL AB 公司开发的MySQL 7.1基本类型7.1.1 关系数据库表7-1 关系数据库的优缺点7.1基本类型7.1.2 NoSQL术语NoSQL并不是“No！ SQL”的缩写，也就是说提出NoSQL技术的目的并不是要抛弃或否定关系数据技术;术语NoSQL可以理解为“Not Only SQL”的缩写，也就是说NoSQL为数据处理提供了一种补充方案;术语NoSQL容易产生歧义,Carlo Strozzi等人认为术语NoSQL并不完美，应该采用一个全新的名字，如NoREL。 7.1基本类型7.1.2 NoSQLNoSQL 是指那些非关系型的、分布式的、不保证遵循ACID 原则的数据存储系统。相对于关系数据库,NoSQL数据库的主要优势体现在：易于数据的分散存储与处理数据的频繁操作代价低以及数据的简单处理效率高适用于数据模型不断变化的应用场景 7.1基本类型7.1.2 NoSQL需要注意的是，提出NoSQL技术的目的并不是替代关系数据库技术，而是对其提供一种补充方案。如果需要处理关系数据库擅长的问题，那么仍然首选关系数据库技术；如果需要处理系数据库不擅长的问题，那么不再仅仅依赖于关系数据库技术，可以考虑更加适合的数据存储技术，如NoSQL技术等。 7.1基本类型7.1.2 NoSQL图7-8 关系数据库与NoSQL数据库之间的关系7.1基本类型7.1.3 关系云关系云是在云计算环境中部署和虚拟化的关系数据库，进而使传统关系数据库具备云计算的弹性计算、虚拟化、按需服务和高经济性等特