《分布式存储系统HBase 原理解析》.pdfVIP

中国科技论文在线 分布式存储系统 HBase 原理解析 郝树魁* （北京邮电大学信息与通信工程学院，北京 100876 ） 摘要：随着数据量的膨胀和计算机硬件价格的下降，快速处理海量数据的需求促使了分布式 计算的兴起和发展。Hadoop 除了提供分布式文件系统和支持MapReduce 的计算框架，还在 这一计算框架上提供了可扩展的结构化数据的分布式存储系统 HBase 等。本文在简要介绍 HDFS 体系结构和MapReduce 逻辑数据流的基础上，解析了分布式存储系统HBase 的原理 并对分布式存储系统的未来发展做出展望。 关键词： 分布式计算，分布式存储，HBase ，Hadoop ，HDFS ，MapReduce 中图分类号：TP392 Analysis of HBase Distributed Storage System Hao Shu Kui (School of Information and Communications Engineering, Beijing University of Posts and Telecommunications, Beijing 100876) Abstract: With the expansion of the amount of data and computer hardware prices fall, the needs of rapid processing mass data is prompting the development the distributed computing. The Hadoop framework provides distributed file system and supports MapReduce calculation, besides the extensibility of distributed storage system for structured data HBase. On the basis of giving the architecture of HDFS and the logical data streams of MapReduce, this paper briefly introduces the principle of HBase distributed storage system and proposes the future development of distributed storage system. Key words: Distributed computing;Distributed storage;HBase;Hadoop;HDFS;MapReduce 0 引言 我们生活在一个数据爆炸的时代，并且每天都会新增巨大的数据，例如来自互联网、传 媒和科学实验数据等。来自互联网数据中心(IDC)的报告，“数字地球” 的数据量已经达到 Zattebytes 的数量级。(其中1ZB = 1012byte)。对于电子商务、科学计算等行业来说，合理的 存储和管理海量数据，并且从中提取数据的价值显得尤为重要。 1 数据存储和分析 随着数据的膨胀，使用传统的磁盘和RDBMS （关系数据库管理系统）面临着越来越多 的挑战。得益计算机硬件的发展，磁盘造价迅速下降的同时磁盘容量变的越来越大。同时， 磁盘容量的变大提升存储量的同时也带来了一个问题，即磁盘寻址的时间通常远大于磁盘读