HBase下时态信息索引策略研究.PDF

第３１卷 第３期 广东工业大学学报 　 Ｖｏｌ．３１Ｎｏ．３ 　 　 　 　 　 　 　 　 　２０１４年９月　 ＪｏｕｒｎａｌｏｆＧｕａｎｇｄｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ 　　Ｓｅｐｔｅｍｂｅｒ２０１４ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００７７１６２．２０１４．０３．０１８ 基于ＨＢａｓｅ的时态信息索引策略的研究 陈　磊，封朝永 （广东工业大学 计算机学院，广州５１０００６） 摘要：针对海量非结构化时态信息存储与快速检索的需求，提出使用 Ｈａｄｏｏｐ平台下的分布式、非结构化数据库 ＨＢａｓｅ对海量时态数据进行存储，构造以时态集合为时态存储单元的时态数据存储模型；设计了多级分布式哈希索 引表算法（ｔＤＨＴ），实现对时态列族的时态属性值的高效、快速的检索．通过将时态属性值向二维空间映射，实现时 态数据向空间对象的转化，采用对空间数据的处理方法对时态数据区域进行划分，生成多级时态数据子区域，利用 分布式哈希表思想设计ＨＢａｓｅ存储的多级索引表目录．实验结果表明，该索引策略具有较高的性能，可以在一定程 度上加快对ＨＢａｓｅ中时态信息的检索速度． 关键词：时态信息；ＨＢａｓｅ；数据存储；时态索引；分布式哈希表 中图分类号：ＴＰ３０１　　　　　　文献标志码：Ａ　　　　　　文章编号：１００７７１６２（２０１４）０３０１０２０８ ＲｅｓｅａｒｃｈｏｎｔｈｅＳｔｒａｔｅｇｙｆｏｒＴｅｍｐｏｒａｌＩｎｆｏｒｍａｔｉｏｎＩｎｄｅｘＢａｓｅｄｏｎＨＢａｓｅ ＣｈｅｎＬｅｉ，ＦｅｎｇＣｈａｏｙｏｎｇ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒｓ，ＧｕａｎｇｄｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｇｕａｎｇｚｈｏｕ５１０００６，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｏｍｅｅｔｔｈｅｎｅｅｄｓｆｏｒｓｔｏｒｉｎｇａｎｄｑｕｉｃｋｒｅｔｒｉｅｖｉｎｇｍａｓｓｕｎｓｔｒｕｃｔｕｒｅｄｔｅｍｐｏｒａｌｉｎｆｏｒｍａｔｉｏｎ，ｉｔ ｐｒｏｐｏｓｅｄｕｓｉｎｇｔｈｅｄｉｓｔｒｉｂｕｔｅｄａｎｄｕｎｓｔｒｕｃｔｕｒｅｄｄａｔａｂａｓｅＨＢａｓｅ，ｗｈｉｃｈｗａｓｏｎｔｈｅＨａｄｏｏｐｐｌａｔｆｏｒｍ，ｔｏ ｓｔｏｒｅｔｅｍｐｏｒａｌｄａｔａ．Ｔｈｅｎ，ｉｔｂｕｉｌｔｔｈｅｔｅｍｐｏｒａｌｄａｔａｓｔｏｒａｇｅｍｏｄｅｌｗｉｔｈｔｈｅｓｔｏｒｅｕｎｉｔａｓｔｈｅｔｅｍｐｏｒａｌｓｅｔ， ａｎｄｄｅｓｉｇｎｅｄａＭｕｌｔｉｌｅｖｅｌｉｎｄｅｘｅｄＤｉｓｔｒｉｂｕｔｅｄＨａｓｈＴａｂｌｅ（ｔＤＨＴ）ａｌｇｏｒｉｔｈｍｔｏｒｅａｌｉｚｅｔｈｅｒｅｔｒｉｅｖａｌｆｏｒ ｔｈｅｔｅｍｐｏｒａｌａｔｔｒｉｂｕｔｅｖａｌｕｅｏｆｔｅｍｐｏｒａｌｃｏｌｕｍｎｑｕｉｃｋｌｙａｎｄｅｆｆｉｃｉｅｎｔｌｙ．Ｂｙｍａｐｐｉｎｇｆｒｏｍｔｅｍｐｏｒａｌａｔｔｒｉｂ ｕｔｅｖａｌｕｅｔｏｔｈｅｔｗｏｄｉｍｅｎｓｉｏｎａｌｓｐａｃｅ，ｔｈｅｃｏｎｖｅｒｓｉｏｎｆｒｏｍｔｅｍｐｏｒａｌｄａｔａｔｏｓｐａｃｅｏｂｊｅｃｔｗａｓａｃｈｉｅｖｅｄ， ｔｈｅｔｅｍｐｏｒａｌｄａｔａａｒｅａｗａｓｄｉｖｉｄｅｄｂｙｕｓｉｎｇｔｈｅｐｒｏｃｅｓｓｉｎｇｍｅｔｈｏｄｆｏｒｓｐａｔｉａｌｄａｔａ，Ｍｕｌｔｉｌｅｖｅｌｔｅｍｐｏｒａｌ ｄａｔａｓｕｂａｒｅａｓｗｅｒｅｇｅｎｅｒａｔｅｄ，ａｎｄｔｈｅＭｕｌｔｉｌｅｖｅｌｉｎｄｅｘｅｄＤＨＴｄｉｒｅｃｔｏｒｙｗａｓｃｏｎｓｔｒｕｃｔｅｄ，ｗｈｉｃｈｗａｓ ｓｔｏｒｅｄｂｙＨＢａｓｅ，ｕｓｉｎｇｔｈｅｍｅｔｈｏｄｏｌｏｇｙｏｆＤＨＴ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｉｎｄｅｘｓｔｒａｔｅｇｙｃａｎ ａｃｈｉｅｖｅａｇｏｏｄｐｅｒｆｏｒｍａｎｃｅ，ａｎｄｉｔｃａｎｂｅｕｓｅｄｔｏａｃｃｅｌｅｒａｔｅｔｅｍｐｏｒａｌｄａｔａｒｅｔｒｉｅｖａｌｉｎｔｈｅＨＢａｓｅｔａｂｌｅｔｏ ａｃｅｒｔａｉｎｅｘ