基于JVM的R语言海量数据统计集成框架研究-计算机软件与理论专业论文.docxVIP

独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本人完全意识到，本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。 本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本论文属于 保密□ ，在 年解密后适用本授权书。 不保密□。 （请在以上方框内打“√”） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 摘 要 随着数据规模在互联网、生物、天文学等领域的爆炸性增长，如何有效地从这 些大规模的数据集中获取有价值信息的能力变得越发重要。R 语言作为流行度最高 的统计分析语言，它提供了丰富的数据统计功能，但却无法有效的处理海量数据。 针对这一问题，设计并实现基于 JVM 的 R 语言海量数据统计分析集成框架 JRBridge， 并以 Hadoop 为例在该框架上实现 R 语言与 Hadoop 的结合，从而一定程度上实现了 R 语言对海量数据的分布式并行统计能力。 为了利用已有海量数据计算框架和编程模型的研究成果，以 R 语言和海量数据 计算框架的集成作为研究思路，分析了各计算框架与 R 语言进行集成的模型，总结 并提出了基于 SF API 和 UDF API 的集成模型。在此模型的理论基础上，针对模型实 现中必须满足的系统要求和公共组件，以及当前流行的开源海量数据计算框架大多 基于 Java 虚拟机实现的特征，为了减小 R 语言与各框架之间的语言鸿沟，设计并实 现了基于 JRBridge 集成框架的 R 语言海量数据统计分析系统。其中基于 JVM 的 R 语言解释执行机制解决了 Java 环境下执行嵌入式 R 语言代码的问题；R 语言环境下 Java 类加载机制通过 jload、import、$运算符实现了在 R 环境下对 Java API 类库调用 并执行；R2J 和 J2R 类型转换机制则为存在 R 与 Java 环境切换的方法调用提供参数 与返回值的类型转换支持。上述机制的相互协作，配合 R 语言和 Hadoop 集成插件的 实现，最终使得 R 语言具有了对海量数据统计分析的能力。 从功能测试结果看出，通过 HDFS API 插件，它提供了一种使用 R 语言访问 HDFS 中海量数据集的方法；通过 MapReduce API 插件，它提供了一种使用 R 语言编写 MapReduce 统计分析代码的方法。性能测试中，在有 5 个工作节点并行统计的 Hadoop 集群环境下，词频统计程序在 JRBridge 集成框架下的执行时间可以达到原始 R 语言 分析时间的 1/7，并且随着测试数据集规模的不断提高，JRBridge 集成框架呈现出线 性可扩展的性能。 关键词：海量数据，统计计算，集成框架，R 语言，Java 虚拟机 Abstract Data explosion is experiencing in many domains such as astronomy, information retrieval, and social network. The knowledge buries in these enormous datasets is so invaluable that the ability to apply sophisticated statistical analysis methods to this data is becoming more and more essential. As the most popular statistical language, R provides rich functionality for data analysis, but simply fails when the data becomes too large. We proposed a generic framework JRBridge which can integrate R and JVM-based open source computational infrastructures. Integrating R with Hadoop on this framework improves t