细细品味Hadoop_Hadoop集群(第11期副刊)_HBase之旅.pdfVIP

细细品味 Hadoop ——Hadoop 集群（第11 期副刊） 精 华 集 锦 csAxp 虾皮工作室 /xia520pi/ 2012 年 7 月 3 日 创建时间：2012/3/21 修改时间：2012/3/21 修改次数：0 Hadoop 集群（第11 期副刊） ——HBase 之旅（Taobao QA Team ） 1、HTable基本概念 1.1 引言 团队中使用 HBase 的项目多了起来，对于业务人员而言，通常并不需要从头搭建、维 护一套HBase 的集群环境，对于其架构细节也不一定要深刻理解（交由HBase 集群维护团 队负责），迫切需要的是快速理解基本技术来解决业务问题。最近在XX 项目轮岗过程中， 尝试着从业务人员视角去看HBase ，将一些过程记录下来，期望对快速了解HBase 、掌握相 关技术来开展工作的业务人员有点帮助。我觉得作为一个初次接触 HBase 的业务开发测试 人员，他需要迫切掌握的至少包含以下几点： ? 深入理解HTable ，掌握如何结合业务设计高性能的HTable ? 掌握与HBase 的交互，反正是离不开数据的增删改查，通过HBase Shell 命令及Java Api 都是需要的 ? 掌握如何用 MapReduce 分析 HBase 里的数据，HBase 里的数据总要分析的，用 MapReduce 是其中一种方式 ? 掌握如何测试HBase MapReduce ，总不能光写不管正确性吧，debug 是需要的吧， 看看如何在本机单测debug 吧 本系列将围绕以上几点展开，篇幅较长，如果是HBase 初学者建议边读边练，对于HBase 比较熟练的，可以选读下，比如关注下HBase 的MapReduce 及其测试方法。 1.2 从一个示例说起 传统的关系型数据库想必大家都不陌生，我们将以一个简单的例子来说明使用RDBMS 和HBase 各自的解决方式及优缺点。 以博文为例，RDBMS 的表设计如下： 为了方便理解，我们以一些数据示例下： 河北工业大学——软件工程与理论实验室 整理：虾皮 1 创建时间：2012/3/21 修改时间：2012/3/21 修改次数：0 上面的例子，我们用HBase 可以按以下方式设计： 同样为了方便理解，我们以一些数据示例下，同时用红色标出了一些关键概念，后面会 解释。 河北工业大学——软件工程与理论实验室 整理：虾皮 2 创建时间：2012/3/21 修改时间：2012/3/21 修改次数：0 1.3 一些HTable基本概念 ? Row key 行主键， HBase 不支持条件查询和Order by 等查询，读取记录只能按Row key （及其 range ）或全表扫描，因此Row key 需要根据业务来设计以利用其存储排序特性（Table 按 Row key 字典序排序如1,10,100,11,2）提高性能。 ? Column Family （列族） 在表创建时声明，每个 Column Family 为一个存储单元。在上例中设计了一个 HBase 表blog ，该表有两个列族：article 和author 。 ? Column （列） HBase 的每个列都属于一个列族，以列族名为前缀，如列 article:title 和 article:content 属于article 列族，author:name 和author:nickname 属于author 列族。 Column 不用创建表时定义即可以动态新增，同一Column Family 的Columns 会群聚在 一个存储单元上，并依Column key 排序，因此设计时应将具有相同I/O 特性的Column 设计 在一个Column Family 上以提高性能。 ? Timestamp HBase 通过row 和column 确定一份数据，这份数据的值可能有多个版本，不同版本的 值按照时间倒序排序，即最新的数据排在最前面，查询时默认返回最新版本。如上例中row key 1 的 author:nickname 值有两个版本，分别为 1座机电话号码0811 对应的“一叶渡江”和 1座机电话号码8830 对应的“yedu ”（对应到实际业务可以理解为在某时刻修改了nickname 为 yedu ，但旧值仍然存在）。Timestamp 默认为系统当前时间（精确到毫秒），也可以在写入数 据时指定该值。 ? Value 每个值通过 4 个键唯一索引，tableName+RowKey+ColumnKey+Timestamp value ，例 如上例中 tableName ’