面向分布式的SPARQL查询优化算法.pdfVIP

第41卷 第 7期 计 算 机 科 学 Vo1．41No．7 2014年 7月 Comouter Science July2014 面 向分布式的SPARQL查询优化算法 汪瑕玢 方知立 张燕琴 (福州大学数学与计算机科学学院 福州350108) 摘 要 采用分布式来实现 SPARQL(SimpleProtocolandRDFQueryLanguage)查询是解决海量 RDF(Resource DescriptionFramework)查询的一种新思路。目前实现的基于Hadoop的RDF查询都要启用多个 MapReduce来完成 任务，浪费时间。为了克服此缺点，提出MRQJ(usingMapReducetoqueryandjoin)算法，用以实现SPARQL的分布 式查询。该算法分为连接计划生成与SPARQL查询执行两个部分：连接计划生成采用贪心策略，生成最优的连接方 案；在SPARQL查询执行 中只需结合一次MapReduce计算即可得到查询结果。在 LUBM数据集上进行的测试实验 表明：在查询语句较为复杂的情况下，MR 方法的查询效率具有明显的优势。 关键词 RDF，Hadoop，SPARQL查询 ，MapReduce 中图法分类号 TP391 文献标识码 A DOI 10．11896／j．issn．1002—137X．2014．07．047 DistributedOptimizde QueryAlgorithmBasde onSPARQL WANGJing-bin FANGZhi-li ZHANG Yan-qin (CollegeofMathematicsandComputerScience，FuzhouUniversity，Fuzhou350108，China) Abstract It’Sanew wayofsolvingthelargeamountofRDF(ResourceDescriptionFramework)queryproblem touse distributedtechniquetorealizetheSPARQL(SimpleProtocolandRDFQueryLanguage)Query．Atpresent，mostof theRDFqueriesbasedonHadoophavetousemultipleMapReducejobstocompletethetask，resultinginwasteof time．Inordertoovercomethisdrawback，thispaperproposedMRQJ(usingMapReducetothequeryandthejoin)algo— rithm toperform distributedSPARQLquery．Thealgorithm canbedividedintojoinplangenerationandSPARQLque— ryexecutiontwoparts：joinplangenerationusesgreedystrategytogeneratethemostoptimaljoinscheme，andonlyone MapReducejobshouldbedonetogetthequeryresultsinSPARQLqueryexecution．TheexperimentontheLUBM test datasetwasmade．Theexperimentalresultsshow thatMRQJmethodqueryefficiencyishigherwhenthecaseofaque— ryismorecomplicated． Keywords RDF，Hadoop，SPARQLquery，MapReduce