(高级数据库)08-HBase.pptx

高级数据库及大规模存储技术;;Agenda;1 简介;1.1 数据模型;1.1.1 示例;1.1.2 数据访问形式;1.1.3 面向时间的视图;1.1.4 示意表格;1.1.5 数据存储——region;1.1.6 HFile;1.1.7 基本组件;1.1.8 文件系统;1.2 表操作;1.2 Examine table schema;1.3 Establish a connection;1.4 Connection management;1.5 Data manipulation;1.5.1 Storing data;1.5.2 Modifying data;1.5.3 the HBase write path;1.5.3 相关概念;1.5.4 Reading data;1.5.5 the HBase read path;1.5.6 Deleting data;1.5.7 Compactions;1.5.8 删除与紧致;1.5.9 Minor Compaction;1.5.10 Versioned data;1.6 Data model;1.7 Data coordinates;1.7.1 数据定位;1.8 逻辑数据模型;1.9 物理数据模型;1.10 Table scans;1.10.1 Executing a scan;1.10.2 Applying filters;1.11 Atomic operations;2 分布式HBASE;2.1 Splitting and distributing big tables;2.2 Region Server/DataNode;2.3 数据分布;2.4 -ROOT-/.META;2.5 数据分布示例;2.6 Client与HBase的交互;2.7 HBase as a source;2.7.1 Mapper;2.7.2 Job;2.8 HBase as a sink;2.9 HBase as a shared resource;3 体系结构;3.1 基本概念;3.1.1 B+ Trees;3.1.2 Log-Structured Merge-Trees;3.2 Storage;3.2.1 HDFS as the underlying storage;3.2.2 Files;3.2.3 HFile Format;3.2.4 HFile Content;3.2.5 KeyValue Format;3.3 Write-Ahead Log;3.3.1 HLog Class;3.3.2 HLogKey Class;3.3.6 Replay;3.4 Read Path;3.5 Region Lookups;3.6 The Region Life Cycle;3.7 Replication;3.7.1 HBase Replication;3.7.2 处理方法;4 过滤器;4.1 Comparison operators;4.2 Comparators;4.2 Comparison Filters;4.3 Dedicated Filters;4.4 Decorating Filters;4.5 FilterList;4.6 Custom Filters ;5 Coprocessors;5.1 Observer coprocessors;5.1.1 RegionObserver on the Write Path;5.1.2 postPut();5.1.3 Install Observer;5.2 Endpoint Coprocessors;5.2.1 endpoint Server;5.2.2 endpoint Client;5.2.3 Deploying the endpoint server;6 Schema设计;6.1 数据访问开销;Tall-Narrow vs. Flat-Wide Tables;6.2 Row Key;get();Performance;6.2.1 Partial Key Scans;6.2.2 面向写优化的RowKey;6.2.3 面向读优化的RowKey;6.2.4 时序数据;6.3 二级索引;6.3.1 用户管理的二级索引;6.3.2 开源项目支持;6.4 其它设计问题;6.4.1 搜索;6.4.2 事务;6.4.3 Bloom Filter;Bloom过滤策略;Thanks!