HBase分布式存储系统应用教案.pdfVIP

授课日期8月30日上课节次1-2课型理论

课题HBase介绍

了解面向行存储数据库和面向列存储数据库的区别；

教学目的

了解HDFS分布式存储的特点及HBase的使用场景

重点、难点面向列存储的数据库

主要内容教学方法与时间分配

手段

课程思政（课程导入）：讲解15

1.分布式数据库的诞生

2006年google发3篇论文，也是被认为的大数据3驾马车：

分布式文件系统：GFS；分布式KV存储数据库：BigTable；处

理和生成超大数据集的算法模型：MapReduce，这些论文的思想

诞生Hadoop生态，也为分布式数据库做好了基垫。

2.国产分布式数据库

OceanBase是由蚂蚁集团完全自主研发的国产原生分布式数据

库，始创于2010年。已连续9年平稳支撑双11，创新推出“三

地五中心”城市级容灾新标准，是一个在TPC-C和TPC-H测试

上都刷新了世界纪录的国产原生分布式数据库。产品采用自研

的一体化架构，兼顾分布式架构的扩展性与集中式架构的性能

优势，用一套引擎同时支持TP和AP的混合负载，具有数据强

一致、高可用、高性能、在线扩展、高度兼容SQL标准和主流

关系数据库、低成本等特点，已助力400+行业客户实现核心系

统升级。

1.1面向行和面向列存储对比讲解30

尽管己经有许多数据存储与访问的策略和实现方法，但事实上

大多数解决方案，特别是一些关系型数据库，在构建时并没有

考虑超大规模和分布式的特点。许多商家通过复制和分区的方

法来扩充数据库使其突破单个节点的界限，但这些功能通常都

是事后增加的，安装和维护都很复杂，同时也会影响RDBMS

(RelationalDatabaseManagementSystem，关系数据库管

理系统）的特定功能，例如联接、复杂查询、触发器、视图和

外键约束，这些操作在大型RDBMS上的代价相当高，甚至根本

无法实现。

1.1.1面向行存储的数据库

User表中的列是固定的，定义id、name、age、sex和jobs

等属性，User的属性是不能动态增加的。这个表存储在计算机

的内存和硬盘中，虽然内存和硬盘在机制上不同，但操作系统

是以同样的方式存储的。数据库必须把这个二维表存储在一系

列一维的“字节”中，由操作系统写到内存或硬盘中。没有索

引的查询使用大量I/O,建立索引和视图需要花费大量时间和资

源、面向查询的需求，数据库必须被大量膨胀才能满足性能要

求。

1.1.2面向列存储的数据库

1.1.3两种存储方式的对比

1.2HDFS分布式存储的特点讲解15

1.优点

(1)高容错性。

1)上传的数据自动保存多个副本。它是通过增加副本的数量来

增加它的容错性。

2)如果某一个副本丢失，HDFS会复制其他机器上的副本，而我

们不必关注它的实现。

(2)适合大数据的处理。

1)能够处理GB、TB,甚至PB级别的数据。

2)能够处理百万规模的数据，数量非常的大。

(3)流式文件写入。

1)一次写入，多次读取。

2)文件一旦写入，不能修改，只能增加，这样可以保证数据的

--致性。

(4)可构建在廉价机器上。

1)通过多副本提高可靠性。

2)提供了容错和恢复机制。

2.缺陷

(1)不适合低延迟数据访问。

(2)无法高效存储大量的小文件。

(3)不支持多用户写入及任意修改文件。

1.3HBase的使用场景讲解