分布式数据库系统课件hbase.pptx

分布式数据库HBase简介; Hadoop是Apache基金会开发一个开源分布式计算平台，以Hadoop分布式文件系统HDFS（ Hadoop Distributed File System）和MapReduce分布式计算框架为核心，为用户提供了底层细节透明的分布式基础设施。;HDFS = Hadoop Distributed File System HDFS是一个使用Java实现的、分布式的、可横向扩展的文件系统 是Hadoop的核心组件;HDFS基本概念;HDFS基本概念;HDFS基本概念;2、 HDFS基本概念;HDFS基本概念;HDFS基本概念;HDFS基本概念;HDFS基本概念;HDFS基本概念;二、HDFS简介;二、HDFS简介 写文件流程;二、HDFS简介 读文件流程;三、HBase???介;三、HBase简介 理由;关系数据库与web2.0网站的不适应：;2006年由PowerSet的Chad Walters和Jim Kellerman发起； 2008年成为Apache Hadoop的一个子项目，现已广泛使用。;HBase概述;HBase的特点;Hbase与RDBMS对比;逻辑视图;逻辑视图;物理存储;region按大小分割的，每个表一开始只有一个region，随着数据不断插入表，region不断增大，当增大到一个阀值的时候，Hregion就会等分会两个新的Hregion。当table中的行不断增多，就会有越来越多的Hregion。;Hregion是Hbase中分布式存储和负载均衡的最小单元。最小单元就表示不同的Hregion可以分布在不同的HRegion server上。但一个Hregion是不会拆分到多个server上的。;HRegion虽然是分布式存储的最小单元，但并不是存储的最小单元。 事实上，HRegion由一个或者多个Store组成，每个store保存一个columns family。 每个Store又由一个memStore和0至多个StoreFile组成。如图： StoreFile以HFile格式保存在HDFS上。;物理存储;Trailer部分的格式:;31;系统架构;系统架构;数据的容错和恢复;数据的容错和恢复;关键算法 ? / ? 流程;关键算法 ? / ? 流程;关键算法 ? / ? 流程;关键算法 ? / ? 流程;关键算法 ? / ? 流程;关键算法 ? / ? 流程;关键算法 ? / ? 流程;访问接口;5、 HBase基本命令;5、hbase基本命令;5、hbase基本命令;5、hbase基本命令;5、hbase基本命令;THANK;;访问接口;访问接口;访问接口;访问接口;访问接口;访问接口;访问接口;测试类 public class mendTest { final static int NEIGHBORHOOD_NUM = 2; final static int MENDER_NUM = 3; public static void main(String[] args) throws TasteException, IOException { RandomUtils.useTestSeed(); DataModel dataModel = new FileDataModel(new File(item.csv)); userCF(dataModel); } public static void userCF(DataModel dataModel) throws TasteException { UserSimilarity userSimilarity= mendFactory.userSimilarity( mendFactory.SIMILARITY.EUCLIDEAN,dataModel); UserNeighborhood userNeighborhood= mendFactory.userNeighborhood( mendFactory.NEIGHBORHOOD.NEAREST,userSimilarity,dataModel,NEIGHBORHOOD_NUM); menderBuilder menderBuilder= mendFactory.user mender(userSimilarity,userNeighborhood,true); mendFactory.evaluate( mendFactory.EVALUATOR.AV