大数据导论思维第6章 NOSQL数据库HBASE.pptx

大数据导论第六章目录CONTENTSPART 01 NoSQL概述PART 05 HBase的运行机制PART 02 HBase概述PART 06 HBase的编程PART 03 HBase数据模型PART 07 作业PART 04 HBase命令行PART 01 NoSQL概述互联网应用的迅速发展以及大数据时代的各种半结构化和非结构化数据使得关系数据库无法满足这些新的需求。因此我们引入了NoSQL，泛指非关系型的数据库。NoSQL的起因传统的关系数据库在面临大数据时代快速增长的数据规模、以及各种半结构化和非结构化的数据的时候，暴露了很多难以克服的问题。无法满足对海量数据的高效率存储和访问的需求无法满足对数据库的高可扩展性和高可用性的需求关系数据库无法存储和处理半结构化/非结构化数据关系数据库的事务特性对Web2.0是不必要的Web2.0无需进行复杂的SQL查询，特别是多表关联查询因此，随着Web2.0时代的到来，各类网站的数据管理需求已经与传统企业应用大不相同。NoSQL的出现是IT发展的必然结果。NoSQL的特点NoSQL（Not only SQL），泛指非关系型的数据库。采用的数据模型是类似健/值、列族、文档等非关系模型。NoSQL 数据存储不需要固定的表结构，每一个元组可以有不一样的字段。NOSQL具有如下特点：灵活的可扩展性：采用横向扩展模式大数据量，高性能：NoSQL数据库都具有非常高的读写性能灵活的数据模型：可以处理非结构化/半结构化的大数据123 NoSQL数据库面临的挑战NoSQL 数据库的前景很被看好，但是要应用到主流的企业还有许多困难需要克服。这里是几个首先需要解决的问题：成熟度支持分析与商业智能管理专业 NoSQL的四大类型近些年来，NoSQL数据库发展势头很快。归结起来，可以将典型的NoSQL划分为四大类型，分别如下：键值数据库列族数据库文档数据库图数据库 NoSQL的四大类型——键值数据库键值型NoSQL系统起源于Amazon开发的Dynamo系统，可以理解为一个分布式的Hashmap，支持SET/GET元操作。键值型数据库使用哈希表，通过表中的Key来定位Vaule,而且Value可以用来存储任意类型的数据。一个完整的分布式键值数据库会将Key按策略尽量均匀地散列在不同的节点上。其中一致性哈希函数是比较优雅的散列策略，它可以保证当某个节点挂掉时，只有该节点的数据需要重新散列。 NoSQL的四大类型——键值数据库在存在大量写操作的情况下，键值数据库可以比关系数据库有明显的性能优势。键值数据库具有良好的伸缩性，理论上讲可以实现数据量的无限扩容。键值数据库可以进一步划分为内存键值数据库和持久化键值数据库。内存键值数据库把数据保存在内存，比如Memcached和Redis；持久化键值数据库把数据保存在磁盘，比如BerkeleyDB、Voldmort和Riak。键值数据库也有自身的局限性，主要是条件查询。如果只对部分值进行查询或更新，效率会比较低下。此外，键值数据库在发生故障时不支持回滚操作，所以无法支持事务。 NoSQL的四大类型——键值数据库总结了键值数据库的相关产品、数据模型、典型应用、优缺点和使用者情况。项目描述相关产品Redis、Riak、SimpleDB、Chordless、Scalaries、Memcached数据模型键值对典型应用场景内容缓存，比如会话、配置文件、系统参数、购物车等优点扩展性好、灵活性高、大量写操作性能高缺点无法存储结构化信息，条件查询效率较低典型使用者百度云数据库（Redis）、GitHub（Riak）、BestBuy（Riak）、Twitter（Redis和Memcached）、StackOverFlow(Redis)、YouTube(Memcached)、Wikipedia（Memcached） NoSQL的四大类型——列族数据库列式NoSQL系统起源于Google的BigTable，其数据模型可以看作是一个每行列数可变的数据表，它可以细分为4种实现模式， NoSQL的四大类型——列族数据库Super Column Family模型可以理解为maps of maps，例如可以把一个作者和他的专辑结构化地存成Super Column Family模式， NoSQL的四大类型——列族数据库基于行存储的数据库中查询时，无论你需要哪一列都需要将每一行扫描完。比如想要在下图生日列表中查询9月份生日，数据库将会从上到下和从左到右扫描表，最终返回生日为9月的列表。关系数据库数据模型 NoSQL的四大类型——列族数据库而基于列存储的数据库可以分别存储每个列，从而可以在列数较少的情况下更快速地进行扫描。列式NoSQL数据模型 NoSQL的四大类型——列族数据库列存储数据