HBase最佳实践及优化.PDFVIP

HBase最佳实践及优化 陈飚 cb@ Cloudera Postgres Conference China 2016 中国用户大会 关于我… 陈飚 Cloudera售前技术经理、资深方案架构师 原Intel Hadoop发行版核心开发人员, 成功实施并运维多 个上百节点Hadoop大数据集群。 – 曾在Intel编译器部门从事服务器中间件软件开发，擅长服务器软件调 试与优化，与团队一起开发出世界上性能领先的XSLT 语言处理器 – 2010 年后开始Hadoop 产品开发及方案顾问，先后负责Hadoop 产品 化、HBase 性能调优，以及行业解决方案顾问 Postgres Conference China 2016 中国用户大会 2 HBase的历史 HBase是Google BigTable的开源实现 • BigTable利用GFS作为其文件存储系统 • HBase使用HDFS作为其文件存储系统 2008年成为 Apache Hadoop 2007年10月建立 的一个子项目 了第一个可用的 HBase版本 2007年2月建立 了HBase的原型 版本 2006年底由 PowerSet 的 Chad Walters和 Jim Kellerman 2006年 发起了HBase Google发表 项目，依据 了BigTable BigTable的论文 论文 重构关系数据 库 Postgres Conference China 2016 中国用户大会 3 HBase的模型特性 Hadoop database and NoSQL database • 基本的数据库操作CRUD • 强一致性 • 无SQL语言支持 • 稀疏的多维映射表 – 列存储 – 只用row key来定位行 – 每行可以有不同的列 – 数据有多个版本（在不同的时间点的快照信息） • 分布式的多层次映射表结构（key-value形式，value有多个） – 固定一个数据模型（固定数据模型能得到高性能，同时满足应用 需求） – 无数据类型 Postgres Conference China 2016 中国用户大会 4 HBase的实现特性 • 非常高的数据读写速度，为写特别优化 – 高效的随机读取