数据库原理和应用(第2版)高凯-第11章.pptVIP

数据库原理与应用 第十一章—— 大数据应用背景下的数据管理技术 本章课程的背景 1. 大数据时代已经来临。 数据量急剧扩充的时代。 对数据管理技术提出更高的要求。 2. 传统封的关系型数据库面临挑战。 在扩展性、实时响应等方面难以满足用户的需求。 3. NoSQL与传统关系型数据库的部分不同。 非关系型数据库结构往往不固定，每个元组可有不一样的结构字段；每个元组可根据需要增加一些特定的键值对，不局限于固定结构，可减少一些时间和空间开销。 课程难点与学习目的 1. 课程难点： 为什么会提出NoSQL？ NoSQL会取代传统的关系型数据库吗？ 2. 学习目的： 了解几种常见的NoSQL数据库的简单使用。 给出Elasticsearch的示例 本章主要内容 1. 大数据及其主要特点 2. 传统数据处理方式面临的挑战 3. 大数据应用背景下的数据管理特点及部分数据管理产品 数据库原理与应用 第十一章—— 11.1 大数据及其主要特点 1 数据量巨大 1. 伴随着数据规模的剧增，数据的价值密度在减小，从大数据中挖掘有价值的知识，是有现实意义的。 2. Web应用、电信、金融、保险、公共安全、医疗、气象、教育、地理等其它行业每天也都产生着难以估计的海量数据。 2 结构多样化 1. 传统的数据挖掘主要是以结构化数据为主。 2. 大数据时代，结构化、半结构化、非结构化数据融合，且数据来源多样、质量良莠不齐。 3. 对大数据的处理来说，更大意义上是对非结构化大数据的处理和挖掘。 3 处理速度更快 1. 大数据时代之前处理的数据一般都是静态的数据，或者数据的产生与变化速度较低，采用批处理的方式即可解决。 2. 微博等社交网络数据以及电子商务等交易数据是以实时数据流的方式出现的，要求对数据处理速度更快。 4 应用价值高 感知现在、发现规律、预测未来、决策调控 知识发现 测与决策等 四维透视大数据 数据体量大 数据类型多 产生速度快 理念 数据特征 处理方式 从单一源到多元关联分析 从开环应用到闭环应用 分布式处理 水平扩展 人工智能技术 从因果到相关关系 从采样到全集分析 处理要求高效率 数据库原理与应用 第十一章—— 11.2传统数据处理方式面临的挑战 1 在对数据的高并发读写方面 1. 大数据的并发负载高。 2. 对关系型数据库来说，通过传统的SQL方式进行查询，效率是不高的。 2 数据库高可扩展性和高可用性方面 1. 传统的关系型数据库是较难进行横向扩展的。 2. 对数据的高可扩展性和高可用性需求，催生了NoSQL、分布式技术的应用和发展。 总结大数据的特点 NoSQL 从Google的 BigTable、Amazon 的Dynamo，到内存型数据库MemCached、文档型数据库MongoDB、键值对数据库Redis、搜索类数据库ElasticSearch等，NoSQL技术得到广泛应用。 数据库原理与应用 第十一章—— 11.3 大数据应用背景下的数据管理特点及部分数据管理产品 11.3.1 大数据应用背景下的数据管理特点 1. 简单的数据类型 系统往往只需支持单记录级别的原子性，不必过多考虑外键和跨记录的关联，这样就增加了系统的可扩展性。 2. 元数据和应用数据的分离 元数据一般要求满足一致性和实时性，而应用数据的一致性需求往往因不同的应用而不同，故常将它们分离。 3. 弱一致性 通过复制应用数据来达到一致性。为减少不必要的开销，弱一致性模型得到应用。 11.3.2 基于文档数据模型的数据管理产品 1. 文档数据库不必像关系数据库一样高度结构化数据 2. 允许创建许多不同类型的非结构化的或任意格式的字段。 3. 它不提供对数据完整性支持，但它和传统的关系型数据库也不互相排斥，而是相互补充。 11.3.3 基于键-值对数据模型的数据管理产品 1. 没有传统的关系型数据模型中对数据的各种约束（如完整性约束、数据类型约束等）。 2. 对于某个键Key，其对应的值Value可以是任意的数据类型（如string、list、set、sorted set、hash等）。 3. 基于键-值对的数据存储的应用场景有：高速缓存、队列、分布式任务处理等。 Redis 1. 为了保证对数据的灵活性和高效访问，Redis可将所有数据加载到内存中，处理速度快。 2. 由于所有数据保持在内存中，Redis会周期性地把更新的数据写入磁盘或把修改操作写入追加的记录文件，并且在此基础上实现主-从同步（数据可以从主服务器向任意数量的从服务器上同步）。 3.在大数据应用方面，Redis可以作为Cache层，也可以作为多个模块的消息传递窗口。 11.3.4 分布式缓存数据管理产品Memcached 1. 是一个开源的、高性能的、分布式的缓