分布式数据库HBase知识讲稿.pptVIP

;提纲;4.1.1 从BigTable说起主流解决方案厂商的发展策略及现状;主流解决方案——Google云计算;;Google需要一个支持海量存储的文件系统 购置昂贵的分布式文件系统与硬件？ ;为什么不使用当时现存的文件系统？ Google所面临的问题与众不同 不同的工作负载，不同的设计优先级（廉价、不可靠的硬件） 需要设计与Google应用和负载相符的文件系统 ;GFS的假设与目标;将文件划分为若干块（Chunk）存储 每个块固定大小（64M） 通过冗余来提高可靠性 每个数据块至少在3个数据块服务器上冗余 数据块损坏概率？ 通???单个master来协调数据访问、元数据存储 结构简单，容易保持元数据一致性 无缓存 ;GFS将容错的任务交给文件系统完成，利用软件的方法解决系统可靠性问题，使存储的成本成倍下降。 GFS将服务器故障视为正常现象，并采用多种方法，从多个角度，使用不同的容错措施，确保数据存储的安全、保证提供不间断的数据存储服务。 ;GFS系统架构;;设计动机与目标;4.1.1 从BigTable说起;数据模型 ;数据模型;由于规模的问题，单个的大表不利于数据处理，因此Bigtable将一个表分成了多个子表，每个子表包含多个行。 子表是Bigtable中数据划分和负载均衡的基本单位。;数据模型;数据模型;系统架构 ;系统架构 ;系统架构 ;4.1.2 HBase简介;4.1.2 HBase简介;4.1.2 HBase简介;4.1.3 HBase与传统关系数据库的对比分析;4.1.3 HBase与传统关系数据库的对比分析;4.2 HBase访问接口;4.3 HBase数据模型;4.3.1 数据模型概述;4.3.2 数据模型相关概念;4.3.3 数据坐标;4.3.4 概念视图;4.3.5 物理视图;4.3.6 面向列的存储;4.3.6 面向列的存储;4.4 HBase的实现原理;4.4.1 HBase功能组件;4.4.2 表和Region;4.4.2 表和Region;4.4.3 Region的定位;4.4.3 Region的定位;4.4.3 Region的定位;4.4.3 Region的定位;4.5 HBase运行机制;4.5.1 HBase系统架构;4.5.1 HBase系统架构;4.5.1 HBase系统架构;4.5.2 Region服务器工作原理;4.5.2 Region服务器工作原理;4.5.2 Region服务器工作原理;4.5.2 Region服务器工作原理;4.5.3 Store工作原理;4.5.4 HLog工作原理;4.5.4 HLog工作原理;复 习;HBase逻辑模型;HBase物理模型;Hbase物理模型;4.6 HBase访问方式;HBase Java API概述;Java API程序设计步骤;程序示例;4.7 HBase应用方案;4.7.1 HBase实际应用中的性能优化方法;4.7.1 HBase实际应用中的性能优化方法;4.7.2 HBase性能监视;Master-status;Ganglia;OpenTSDB;Ambari;4.7.3 在HBase之上构建SQL引擎;4.7.3 在HBase之上构建SQL引擎;4.7.4 构建HBase二级索引;4.7.4 构建HBase二级索引;Hindex二级索引;HBase+Redis;Solr+HBase;4.8 HBase编程实践;4.8.1 HBase的安装与配置;4.8.2 HBase常用Shell命令;查询数据库状态 ;4.8.2 HBase常用Shell命令;4.8.2 HBase常用Shell命令;4.8.2 HBase常用Shell命令;4.8.2 HBase常用Shell命令;4.8.3 HBase常用Java API及应用实例;4.8.3 HBase常用Java API及应用实例;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org.apache.hadoop.hbase.util.Bytes;import java.io.IOException;public class Chapter4{ public static Configuration configuration; public static Connection connection; public static Admin admin; public static void main(String[] args)th