hbase分析报告-classcloud.docVIP

Hbase分析報告 本文基於環境hadoop-0.16.4 和 hbase-0.1.3 編寫 Hbase是一個分散式開源資料庫，基於Hadoop分散式文件系統，模仿並提供了基於Google文件系統的Bigtable資料庫的所有功能。 Hbaes的目標是處理非常龐大的表，可以用普通的電腦處理超過10億行資料，並且有數百萬列元素組成的資料表。 Hbase可以直接使用本地文件系統或者Hadoop作爲資料存儲方式，不過爲了提高資料可靠性和系統的健壯性，發揮Hbase處理大資料量等功能，需要使用Hadoop作爲文件系統，那麽我們就先要瞭解Hadoop文件系統的基本特性和原理，才能更好地理解Hbase的工作方式。 Hadoop文件系統 Hadoop文件系統是一個能夠相容普通硬體環境的分散式文件系統， 和現有的分散式文件系統不同的地方是Hadoop更注重容錯性和相容廉價的硬體設備，這樣做是爲了用很小的預算甚至直接利用現有機器就實現大流量和大資料量的讀取。 Hadoop 使用了POSIX的設計來實現對文件系統文件流的讀取。HDFS（Hadoop FileSystem）原來是Apache Nutch搜索引擎（從Lucene發展而來）開發的一個部分，後來獨立出來作爲一個Apache子專案。 Hadoop的假設與目標 硬體出錯，Hadoop假設硬體出錯是一種正常的情況，而不是異常，爲的就是在硬體出錯的情