_HBase云存储.ppt

特殊目录数据 元数据(META) 全部用户区域的属性数据都存在元数据表中 包括区域中数据起止行信息、区域“在线”状态等 保存区域服务器地址 元数据表也可包含多个区域，区域属性数据存储在“根”结点上 “根”表(ROOT) 只包含一个区域 将元数据中的区域映射到区域服务器 存储元数据服务器位置以及映射了哪些元数据区域 HBase Table和Region的关系，比较类似HDFS File和Block的关系，HBase提供了配套的TableInputFormat和TableOutputFormat API，可以方便的将HBase Table作为Hadoop MapReduce的Source和Sink，对于MapReduce Job应用开发人员来说，基本不需要关注HBase系统自身的细节。 MapReduce on HBase HBase用例－WebTable WebTable用于存储抓取网页和相关信息 每个页面对应一行，是个有百万行的大表 要基于此表进行分析与解析并由搜索引擎对关键字进行索引 表需要并发地被众多网页抓取程序随机地访问以及更新数据 表内容也要作为网页实时缓存被大量用户随机访问 逻辑视图 Row Key Time Stamp Column Contents Column Anchor Column “mime” my.look.ca “n.www” T9 CNN T8 CNN.COM T6 “html.. “ Text/html T5 “html.. “ t3 “html.. “ HBase以表的形式存储数据。表由行和列组成，列划分为若干个列族 (row family) Row key是用来检索记录的主键。存储时，数据按照Row key 的字典序(byte order)排序存储 。设计 key时，要充分排序存储这个特性，将经常一起读取的行存储放到一起。(位置相关性 ) 数据模型－行 Row Key Time Stamp Column Contents Column Anchor Column “mime” my.look.ca “n.www” T9 CNN T8 CNN.COM T6 “html.. “ Text/html T5 “html.. “ t3 “html.. “ 行键 列 列 数据模型－行 每行数据有一可排序的关键字和任意列项 字符串、整数、二进制串甚至与串行化的结构都可以作为行键 表按照行键的“逐字节排序”顺序对行进行有序化处理 表内数据非常‘稀疏’，不同的行的列的数完全目可以大不相同 对数据进行操作时，可以只对一行上“锁” 对行的写操作是始终是“原子”的 数据模型－列 Row Key Time Stamp Column Contents Column Anchor Column “mime” my.look.ca “n.www” T9 CNN T8 CNN.COM T6 “html.. “ Text/html T5 “html.. “ t3 “html.. “ 族 标签 列必须用‘族’(family)来定义 任意一列有如下形式 “族：标签” 其中，族和标签都可为任意形式的串 物理上将同“族”数据存储在一起 数据通过时间戳区分版本 物理视图 Row Key Time Stamp Column: Contents Cn.www T6 “html..” T5 “html..” T3 “html..” Row Key Time Stamp Column: Anchor Cn.www T9 Anchor: CNN T5 Anchor:my.look.ca CNN.COM Row Key Time Stamp Column: mime Cn.www T6 text/html HBASE访问接口 启动 bin/hbase shell 主要命令 create 创建表 describe 描述表 enable/disable 表激活/取消 drop 删除表 get/put 表读写 HBase Shell Java Client API HBaseConfiguration addResource(…) HTable put(…) get(…) ResultScanner next(…) HBASE对比传统RDBMS缺点 不支持二级索引； 不具有sql/join/跨行跨表等RDBMS特性； HBASE适用场景 需要存储海量数据（TB级以上）； 需要具有较高的吞吐量； 需要对大数据集合进行高效的随机访问（主键查询）； 针对于结构化和非结构化的数据存储； 不要求满足全部的RDBMS特性的应用需求（跨行/跨表交互，连接查询等）。 Hive 是Facebook 公司的开源项目，它实现在 Hadoop 之上提供