一种新型的Hadoop本地化测试模型.pdfVIP

第 29 卷 第 10 期（上） 赤 峰 学 院 学 报（自 然 科 学 版 ） Vol. 29 No.10 2013 年 10 月 Journal of Chifeng University （Natural Science Edition ） Oct.2013 一种新型的 Hadoop 本地化测试模型 王 晓华 （蚌埠医学院 科研处 ， 安徽 蚌埠 233000 ） 摘 要 ： MapReduce 是 Hadoop 核 心处理程序.但是目前软件界更多 是对 MapReduce 程 序的编写 ，而对其测试方法还是 空白 依旧使用的是基于 为基础的测试插件 而 是为了软件进行单机测试而诞生的一种测试插件 ，其 对分布式测 , JUnit . JUnit 试的支持性很差 同时由于其天生的狭隘性 ，对大规模数据进行测试根本是不可能进行 本 文利用 自带的抽象类 ，通过 . . Hadoop 欺骗注入 ，给 Hadoop 设计一种通过营造一个运行在单机上的伪集群环境模型 ，从 而使得 MapReduce 在 不借助外部其他插件 支持的情况下可以独立完成全部运行并将结果输出在本地磁盘空间. 关键词 ： 分布式计算 ； ； ；软件测试 hadoop MapReduce 中图分类号：TP309 文献标识码：A 文章编号：1673-260X（2013 ）10-0020-02 1 引言 架， 因此对其核心处理程序的设计我们首选是 Java 程序测 面对现代社会数据信息高速增长 ， 数据分析与设计人 试框架 .MRUnit 可以较好的为我们解决极小量数据处理的 员迫切地希望一种能够对大规模数据进行分析与处理的系 测试.其依托于 JUnit 来对程序进行测试运算，通过断言计算 统.但是由于往往数据的日常产生是以 GB 为单位，因此对 值与期望值之间的一致性为我们提供特定值的测试结果.此 于其分析进而计算并不是一件非常容易的事. 而 Hadoop 为 种结果在一定程度上是准确且可信的， 但是对于数据进行 了解决单机对大数据分析计算的不能够有效及时处理这一 分析，特别是大规模数据分析，如果测试数据过于狭隘 ，往 缺陷而诞生的. 往并不能得到有效可信的结果.而 MRUnit 则是继承自 JUnit Hadoop 是一种新兴的分布式计算系统框架，由 Apache 测试插件.JUnit 的使用本身是为了单机程序测试而创造 的 基金会开发. 其主要是为了解决大规模分布式计算模式下 测试工具， 因此 MRUnit 在诞生之处就先天具有狭隘性，并 的，让使用者不必要知道底层运算的细节的情况下，充分利 不能为集群环境的数据测试提供支持. 用集群计算机的强大处理能力进行数据的存储与计算 . 而将未经测试的 MapReduce 程序上传到集群环境 中进 Hadoop 的构成主要是由一个底层分布式文件存储系统以及 行测试本身就是一种极大的 冒险. 而且相对本地环境 的测 运行在存储系统之上的一个 MapReduce 处理程序构成 .其 试，其配置更为复杂 ，影响 因素较多 ，无法能够简单的实现 中 HDFS 主要是负责在集群的计算机存储硬盘上重新构建 对,MapReduce 程序进行测试. 同时目前软件界还没有专门 出一个基于 Java 虚拟机的一种集群化存储结构， 把集群中