并行框架下基于位图索引的多表星型连接算法.PDFVIP

2014年 9月 计算机工程与设计 Sept．2014 第 35卷 第 9期 COMPUTER ENGINEERINGAND DESIGN Vo1．35 No．9 并行框架下基于位图索引的多表星型连接算法 解晨光 ，刘明刚 (1．哈尔滨金融学院科研处，黑龙江哈尔滨 150030；2．哈尔滨金融学院计算机系，黑龙江哈尔滨 150030) 摘 要：分析面向大数据平台的MapReduce分布式编程技术以及实现数据查询时的连接算法，针对SSB数据模型，提出基 于分布式缓存的多表星型连接优化技术。利用谓词向量技术，将维表中间连接的数据依赖转化为袁上的位 图索引过滤，减 少数据依赖产生的巨大网络开销；采用分布式缓存技术充分利用处理节点的内存 ，优化网络传输，减少查询代价。 关键词 ：并行框架；星型模式；分布式缓存；位图索引；连接 中图法分类号：TP274 文献标识号：A 文章编号：1000—7024 (2014)09—3107—06 Bitmapindexbasedmulti—tablestarschemajointechnologyalgorithm inparallelframework XIE Chen-guang ，LIU Ming—gang (1．ResearchDepartment，HarbinFinanceUniversity，Harbin150030，China； 2．DepartmentofComputerScience，HarbinFinanceUniversity，Harbin150030，China) Abstract：Thealgorithm oftheMapReducedistributedprogrammingtechnologyandtheconnectionalgorithm realizingdataque— riesOiltheplatformofbigdatawereanalyzed．Additionally，aimingatthestarschemabenchmark (SSB)datamodels，thedis— tributedcachemulti-tablestarschemejoinoptimizationtechnologywasproposed．Thepredicatevectortechnologywasusedto converttherelianceofdatainthemiddledimensiontabletothebitmapindexfiltertoreducethehugenetworkoverheadcaused bythedatareliance．ThedistributedcachingtechnologywasusedtOprocessthenodesmemory，whichoptimizedthenetwork transmissionandreducedthequerycost． Keywords：parallelframework；starschema；distributedcache；bitmapindex；join 活性上与 MapReduce框架相 比有一定 的差距，因此利用 0 引 言 MapReduce编程机制实现连接是解决实际问题的重要选择。 人们对MapReduce的研究与实践结果表明，其在海量 星型模型是最常见的多维数据仓库模型，本文研究 目标是 结构化数据的查询处理方面具有一定性能优势_】]，可用于 利用 MapReduce分布式编程框架的优势 ，将分布式缓存技 分析在集群环境中的大型数据集，计算各种数据，并从 中 术与位图索引技术相结合，针对 SSB星型存储模型[3]的特 导出有价值的业务数据。许多研究致力于此，并开发了更 点