YARM基于MapReduce的高效可扩展的语义推理引擎.pdfVIP

第 38卷 第 1期 计 算 机 学 报 Vo1．38 No．1 2015年 1月 CHINESEJoURNALOFCOMPUTERS Jan．2015 YARM：基于MapReduce的高效可扩展的 语义推理引擎 顾 荣 王芳芳 袁春风 黄宜华 (南京大学计算机软件新技术国家重点实验室 南京 210046) 摘 要 随着语义网的快速发展 ，RDF语义数据大量涌现．大规模 RDF语义数据推理的一个主要 问题是计算量 大、完成计算需要消耗很长的时间．显然 ，传统的单机语义推理引擎难以处理大规模的语义数据．另一方面，现有的 基于MapReduce的大规模语义推理引擎 ，缺乏对算法在分布和并行计算环境下执行效率的优化，使得推理时间仍 然较长．此外 。现有 的推理引擎大多存在可扩展性方面 的不足，难 以适应大规模语义数据 的增长需求．针对现有 的 语义推理系统在执行效率和可扩展性方面的不足，文 中提出了一种基于 MapReduce的并行化语义推理算法和引 擎 YARM．为 了实现分布和并行计算环境下的高效推理，YARM做 出了以下 4点优化 ：(1)采用合理的数据划分模 型和并行化算法，降低计算节点间的通信开销；(2)优化推理规则的执行次序，提升了推理计算速度；(3)设计了简 洁的去重策略，避免新增作业处理重复数据 ；(4)设计实现了一种新 的基于 MapReduce的并行化推理算法．实验结 果表明，在真实数据集和大规模合成数据集上，YARM 的执行速度 比当前最新的基于MapReduce的推理引擎快 1O倍左右 ，同时YARM还表现 出更好 的数据和系统可扩展性． 关键词 RDF)RDFS推理；MapReduce~语义推理；分布式推理 中图法分类号 TP338；TP182 DOI号 10．3724／SP．J．1016．2O1多．00074 YARM ：EfficientandScalableSemanticReasoningEngineBasedonM apRde uce GU Rong WANG Fang—Fang YUAN Chun-Feng HUANG Yi_Hua (StateKeyLaboratoryforNovelSoftwareTechnologyatN口 ingUniversity，Nanjing 210046) Abstract TherapiddevelopmentoftheSemanticW ebhasproducedmassiveamount0{theRDF data．ThemajorchallengeforlargescaleRDFsemanticreasoningisthatitinvolveshugeamount ofcomputation．Thismakesthewholeprocessvery time—consuming． Itisobviousthatthe traditionalsemanticreasoningenginesarenotefficientwhendealingwiththemassiveamountof RDF data．On theotherhand，thestate-of-artdistributed semanticreasoningalgorithmsbuilt withM apReduee lack ofoptimization forreasoning processin a distributed and parallelized environment．Thus，thisstillmakesthereasoningprocessrelativelytime—consuming．In addition， mostofexistingreasoningengineslackofscalability．To solvetheseproblems，wedesignand implementYARM ，anew para