HBase 程式设计.PPT

＋ 應用實務(一) V 0.20 Hadoop 整體運算示意圖 HBase HBase 是具有以下特點的儲存系統： 類似表格的資料結構 (Multi-Dimensional Map) 分散式 高可用性、高效能 很容易擴充容量及效能 Hbase 適用於利用數以千計的一般伺服器上，來儲存Petabytes級的資料。 HBase 以 Hadoop 分散式檔案系統 (HDFS) 為基礎， 提供類Bigtable 功能 Hbase同時提供Hadoop MapReduce程式設計。 為什麼使用HBase? 不是關聯式(Relational)資料庫系統 表格(Table)只有一個主要索引 (primary index) 即 row key. 不提供 join 不提供 SQL語法。 提供Java函式庫, 與 REST與Thrift等介面。 提供 getRow(), Scan() 存取資料。 getRow()可以取得一筆row range的資料，同時也可以指定版本 (timestamp)。 Scan()可以取得整個表格的資料或是一組row range (設定start key, end key) 有限的單元性(Aatomicity)與交易 (transaction)功能. 只有一種資料型態 (bytes) 為什麼使用HBase? 關聯式資料庫(Relational Database) 適用做資料異動 C.R.U.D (create, retrieval, update, delete) 等操作，主要因為這動作在記憶體中進行 對於超大量的資料分析，資料分散在多個節點的情況下，關聯式資料庫系統就不適用了 現有可於大量資料的分析的聯式資料庫軟體價格昂貴，且仍只適用在特定用途。 這裏所謂的大量資料分析是指 Big queries – 整個資料表的存取 Big databases - 100 Terabytes以上的資料 Bigtable的可以配合MapReduce框架，進行複雜的分析與查詢。 誰使用 HBase Adobe 內部使用 (Structure data) Kalooga 圖片搜尋引擎 / Meetup 社群聚會網站 / Streamy 成功從 MySQL 移轉到 Hbase / Trend Micro 雲端掃毒架構 / Yahoo! 儲存文件 fingerprint 避免重複 / More /hadoop/Hbase/PoweredBy Data Model Table依 row key 來自動排序 Table schema 只要定義 column families . 每個column family 可有無限數量的 columns 每個column的值可有無限數量的時間版本(timestamp) Column可以動態新增，每個row可有不同數量的columns。 同一個column family的columns會群聚在一個實體儲存單元上，且依 column 的名稱排序。 byte[] 是唯一的資料型態(Row, Family: Column, Timestamp) Value Data Model HBase實際上儲存Table時，是以column family為單位來存放 Regions 表格是由一或多個 region 所構成 Region 是由其 startKey 與 endKey 所指定 每個 region 可能會存在於多個不同節點上，而且是由數個HDFS 檔案與區塊所構成，這類 region 是由 Hadoop 負責複製 HBase 與 Hadoop 搭配的架構 HBase 程式設計 常用的HBase API 說明 實做 I/O 操作 搭配Map Reduce 運算 * 1. Java 之編譯與執行 將hbase_home目錄內的 .jar檔全部拷貝至hadoop_home/lib/ 資料夾內 編譯 javac Δ -classpath Δ hadoop-*-core.jar:hbase-*.jar Δ -d Δ MyJava Δ MyCode.java 封裝 jar Δ -cvf Δ MyJar.jar Δ -C Δ MyJava Δ . 執行 bin/hadoop Δ jar Δ MyJar.jar Δ MyCode Δ {Input/ Δ Output/ } 所在的執行目錄為Hadoop_Home ./MyJava = 編譯後程式碼目錄 Myjar.jar = 封裝後的編譯檔 先放些文件檔到HDFS上的input目錄 ./input; ./ouput 不一定為 hdfs的輸入、輸出目錄 HTable 成員 Contents Department news bid sport t1 co