大数据工程实验室申报书.docVIP

大数据工程实验室申请书 1．工程实验室拟突破的技术方向 大数据工程实验室拟突破的技术方向为：R语言与Hadoop分布式计算平台交互技术。 R语言一种自由软件编程语言与操作环境，主要用于统计分析、绘图、数据挖掘。R本来是由来自新西兰奥克兰大学的Ross Ihaka和Robert Gentleman开发（也因此称为R），现在由“R开发核心团队”负责开发。R的源代码可自由下载使用，可在多种平台下运行，包括UNIX,Linux,Windows和MacOS。R主要是以命令行操作为主，同时支持GUI的图形用户界面。R内建多种统计学及数字分析功能R比其他统计学或数学专用的编程语言有更强的物件导向功能。R的另一强项是绘图功能，制图具有印刷的素质，也可加入数学符号。虽然R主要用于统计分析或者开发统计相关的软体，但也有人用作矩阵计算。其分析速度可媲美GNU Octave甚至商业软件MATLAB。CRAN为Comprehensive R Archive Network的简称它除了收藏了R的执行档下载版、源代码和说明文件，也收录了各种用户撰写的软件包。全球有超过一百个CRAN镜像站，上万个第三方的软件包。R的应用统计分析，应用数学，计量经济，金融分析，财经分析，人文科学，数据挖掘，人工智能，生物信息学，生物制药，全球地理科学，数据可视化。可移植操作系统接口自2006年，Hadoop以MapReduce和HDFS独立发展开始，到今年2013年不过7年时间，Hadoop的家族已经孵化出多个Apache的顶级项目。特别是最近1-2年，发展速度越来越快，融入了很多新技术（YARN, Hcatalog, Oozie, Cassandra）。Hadoop家族的强大之处，在于对大数据的处理，让原来的不可能（TB,PB数据量计算）成为了可能。R语言的强大之处，在于统计分析，在没有Hadoop之前，我们对于大数据的处理，要取样本，假设检验，做回归，长久以来R语言都是统计学家专属的工具。hadoop重点是全量数据分析，而R语言重点是样本数据分析。 两种技术放在一起，补短以计算机开发人员的思路，所有事情都用Hadoop去做，没有数据建模和证明，预测的结果”一定是有问题的以统计人员的思路，所有的事情都用R去做，以抽样方式，得到的“预测的结果”也一定是有问题的。hadoop使得R语言具有处理高达TB甚至PB级的大数据的能力。在GitHub社区可以找到该项目与开源实现代码。Rhadoop包含有三个包，分别是rhdfs,rmr以及rHBase，分别对应Hadoop系统架构中的HDFS, MapReduce和Hbase三个部分。除了Rhadoop之外，还有从R中进行Hive查询的Rhive包，能够直接从Hive中进行查询。 将R和结合起来，其既能够利用分布式计算打破数据量的限制，又能够利用R中的众多优秀的免费扩展包，快速实现所需的数据处理分析。 综上所述，R语言与Hadoop的交互使用技术就成了本项目急需突破的技术方向。 2．工程实验室的主要功能与任务 大数据工程实验室的主要功能如下： （1）为学科思贤若渴为学科相关科研课题的研究提供支撑在保证完成学校教学任务的前提下，面向学校及社会开放，为相关科研课题研究提供支持。为相关科研课题的研究提供大量、详实的数据。为相关科研课题的研究提供数据处理与分析工具。 在一定程度上为社会提供相关服务可以为社会有关单位和个人提供可以进行设计、开发、培训，真正实现产、学、研的有机结合学科hadoop的R程序包，申请国家专利，继而把R程序包上传国际CRAN镜像站