Hadoop之Hbase从入门到精通3要点解析.docVIP

基于Hbase存储的分布式消息(IM)系统-JABase 前段日子看了在上一篇介绍facebook消息系统的文章，一夜之后被无数个网站无数次的转载，现如今facebook的任何一个话题都会引起很多人的关注，但我对只对这文章里面没有说明的部分比较感兴趣，系统里是怎么获得即时消息的？PHP监听器？开启很多个监听器服务？推模式？拉模式？跟Twitter一样采用消息中间件？对此有了些疑问，期待日后有人能给出明确解答。???? 这个叫JABase的 东东 能给我一些启示，JABase是应用在分布式IM系统中的中间件，可以支持大规模的集群环境的伸缩性架构，并采用Java语言来实现的，JABase是介于分布式数据存储(HBase/HDFS)和即时消息收发(Erlbase/XMPP Server)的一个中介体，JABase将XMPP Server中的收/发消息存放在HBase中，这点与facebook消息系统文章中提到的极为相似。另外提一下，JABase给出的方案中的IM消息服务器(XMPP Server) Erlbase是采用 Erlang 语言编写，有点像Twitter。 整个系统架构由HBase/HDFS、JABase、ErlBase 这3大部分组成，整体架构如图所示： 除了需要安装HBase和HDFS一些主要部件以外，还需要有以下一些组件支持：?? – ejabberd-2.0.3.tar.gz??? (Erlang)?? – erlbase-1.0.tar.gz???????? (Erlang)?? – jabase-1.0.tar.gz?????????? (Java) 对JABase项目的了解，结合目前采用的架构引发出2个的设想：??? 1、XMPP与MQ 可扩展性的比较，有时间需要坐下来跟大家讨论一下。??? 2、MQ的性能扩展 a)前端集成缓存 b)后端消息存储，看看这么加才对我们有真正的帮助。 HBase入门篇 HBase是什么？ HBase是Apache Hadoop中的一个子项目，Hbase依托于Hadoop的HDFS作为最基本存储基础单元，通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作，如右侧的图所示：HBase在产品中还包含了Jetty，在HBase启动时采用嵌入式的方式来启动Jetty，因此可以通过web界面对HBase进行管理和查看当前运行的一些状态，非常轻巧。 为什么采用HBase？HBase 不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库.所谓非结构化数据存储就是说HBase是基于列的而不是基于行的模式，这样方面读写你的大数据内容。 HBase是介于Map Entry(key value)和DB Row之间的一种数据存储方式。就点有点类似于现在流行的Memcache，但不仅仅是简单的一个key对应一个 value，你很可能需要存储多个属性的数据结构，但没有传统数据库表中那么多的关联关系，这就是所谓的松散数据。 简单来说，你在HBase中的表创建的可以看做是一张很大的表，而这个表的属性可以根据需求去动态增加，在HBase中没有表与表之间关联查询。你只需要 告诉你的数据存储到Hbase的那个column families 就可以了，不需要指定它的具体类型：char,varchar,int,tinyint,text等等。但是你需要注意HBase中不包含事务此类的功 能。 Apache HBase 和Google Bigtable 有非常相似的地方，一个数据行拥有一个可选择的键和任意数量的列。表是疏松的存储的，因此用户可以给行定义各种不同的列，对于这样的功能在大项目中非常实用，可以简化设计和升级的成本。 如何运行HBase？从 Apache的HBase的镜像网站上下载一个稳定版本的HBase /apache/hbase/stable/hbase-0.20.6.tar.gz， 下载完成后，对其进行解压缩。确定你的机器中已经正确的安装了Java SDK、SSH，否则将无法正常运行。 $ cd /work/hbase进入此目录 $ vim conf/hbase-env.shexport JAVA_HOME=/JDK_PATH编辑 conf/hbase-env.sh 文件,将JAVA_HOME修改为你的JDK安装目录 $ vim conf/regionservers输入你的所有HBase服务器名,localhost,或者是ip地址 $ bin/start-hbase.sh启动hbase, 中间需要你输入两次密码，也可以进行设置不需要输入密码，启动成功，如图所示： $ bin/