大数据软件测试技术的类型及挑战.docVIP

大数据软件测试技术的类型及挑战 目录 TOC \o 1-9 \h \z \u 目录 1 正文 2 文1：大数据软件测试技术的类型及挑战 2 1 大数据测试与传统测试的比较 2 2 大数据功能测试步骤 3 3 大数据主要非功能测试类型 4 1）根据业务需求设计性能测试场景； 5 2）初始化大数据集群环境； 5 3）准备性能测试脚本； 5 5）提交性能测试分析报告。 5 1）确定测试任务； 6 2）招募典型、有代表性的用户； 6 3）测试前准备； 6 4）实施测试； 6 5）测试分析和测试报告。 6 4 大数据测试面临的挑战 6 5 结束语 7 文2：计算机软件测试技术 7 （一）应用目标/特性 8 （二）目的 8 （一）基于路径覆盖的测试用例生成技术 9 （二）组合测试用例生成技术 9 （三）面向对象测试用例生成技术 10 （一）软件测试阶段 10 （二）静态测试和动态测试 10 （三）白盒测试和黑盒测试 11 （四）其他测试技术 11 参考文摘引言： 12 原创性声明（模板） 13 文章致谢（模板） 13 正文 大数据软件测试技术的类型及挑战 文1：大数据软件测试技术的类型及挑战 大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化力的海量信息，在运行方面具有数据流庞大、数据种类繁多、数据价值量密度较低以及数据运行和处理的速度极快等基础特征。[1]当前，我国大数据的应用领域已经从政府、金融延伸到医疗、生物、电商、安防等各行各业。随着云计算技术与应用、物联网、大数据等技术的不断发展，应用于各个领域的大数据系统也不断形成。这种大数据系统的系统结构复杂，数据类型更加丰富，更有TB级别的海量数据量，要使系统平稳运行，比起传统软件更是需要软件测试技术作为支撑。随着大数据技术的发展也逐步形成具有独特特征的大数据测试技术。 1 大数据测试与传统测试的比较 传统软件测试是在系统已知的前提下对从用户需求提取到的测试任务进行的测试，用户的行为直接影响系统的最终执行结果。传统软件测试最主要的两种测试类型为功能测试和性能测试，都是简单的从用户界面入手，比如12306中注册、登录、下订单、支付等，可直接使用黑盒测试方法即可。传统软件测试技术已经比较成熟，也形成了各种配套的自动化测试工具。 软件测试类型很多，包括功能测试、性能测试、安装与卸载测试、兼容性测试、健壮性测试、文档测试、回归测试等等。大数据测试和传统软件测试相比，主要测试类型都是功能测试和性能测试，但在测试目的和测试流程存在一定差异，主要表现在大数据测试更多的是去验证其数据处理而不是验证单一的功能。 大数据测试与传统测试的区别如表1所示。 2 大数据功能测试步骤 整体而言，大数据功能测试可以分为下面四个步骤： 数据预处理验证 大数据测试的第一步，也称作pre-hadoop阶段。本阶段主要验证： 表1 大数据测试与传统测试的区别 1）来自关系数据库、日志系统、社交网络、互联网文本和文件等各种数据资源应该要被验证，确保是正确的资源被加载进系统[4] 2）数据加载后还要验证推送到hadoop系统中的数据和源数据是一致的[4] 3）验证正确的数据被提取并被加载到HDFS（Hadoop Distributed File System）正确的数据节点中。 MapReduce验证 经过数据预处理验证、数据成功加载到HDFS后，MapReduce开始对数据进行并行处理。由Google公司最早提出的MapReduce是一种面向大规模数据处理的并行技术模型，也是当前公认的最易于使用的大数据并行处理技术。大数据测试工程师根据业务需求，在每个节点上进行业务逻辑验证，确保如下操作的正确性： 1）MapReduce并行处理正常运行，得到想要的文件； 2）在数据上实施数据聚合或隔离规则[6] 3）数据key-value关系已正确生成； 4）验证经过map reduce后数据的准确性； 5）按照大数据业务需求，验证输出数据文件格式的规范性。 数据仓库验证 根据业务逻辑要求进行处理后的数据最终将按用户需求导入到数据仓库。在这个阶段需要验证数据转换规则是否正确应用，仓库中的数据是否有损坏、数据完整性约束使用是否正确等。 分析报表验证 数据处理完成导入到相应的数据仓库后，可使用工具自带的报表工具得到分析报告，该阶段要验证自动得到的分析报告是否满足用户、业务需求。 3 大数据主要非功能测试类型 在系统功能正常使用的基础上，用户对系统的非功能特性要求也越来越高。大数据功能测试是所