大数据测试方法与工具梳理.pdfVIP

实用标准文案 大数据测试方法和工具梳理 1 什么是大数据 大数据是一个大的数据集合，通过传统的计算技术无法进行处 理。这些数据集的测试需要使用各种工具、技术和框架进行处理。大 数据涉及数据创建、存储、检索、分析，而且它在数量、多样性、速 度方法都很出色。 2 大数据测试类型 测试大数据应用程序更多的是验证其数据处理， 而不是测试软件 产品的个别功能。当涉及到大数据测试时，性能和功能测试是关键。 在大数据测试中， QA 工程师使用集群和其他组件来验证对 TB 级数据的成功处理。 因为处理非常快，所以它需要高水平的测试技能。 处理可以是三种类型：批量、实时、交互。 与此同时， 数据质量也是大数据测试的一个重要因素。 在测试应 用程序之前， 有必要检查数据的质量， 并将其视为数据库测试的一部 分。它涉及检查各种字段，如一致性，准确性，重复，一致性，有效 性，数据完整性等。 精彩文档 实用标准文案 3 大数据测试实现被分成三个步 3.1 步骤 1 ：数据分段验证 大数据测试的第一步， 也称为 pre-Hadoop 阶段涉及过程验证。 ? 来自各种来源（如 RDBMS ，博客，社交媒体等）的数据应进 行验证，以确保正确的数据被拉入系统 ? 将源数据与推送到 Hadoop 系统中的数据进行比较， 以确保它 们匹配 ? 验证正确的数据被提取并加载到正确的 HDFS 位置 该阶段可以使用工具 Talend 或 Datameer ，进行数据阶段验证。 3.2 步骤 2 ：“MapReduce ”验证 大数据测试的第二步是 MapReduce 的验证。在这个阶段，测 试者在每个节点上进行业务逻辑验证， 然后在运行多个节点后验证它 们，确保如下操作的正确性： ? Map Reduce 进程正常工作 ? 在数据上实现数据聚合或隔离规则 ? 生成键值对 ? 在 Map Reduce 进程后验证数据 3.3 步骤 3 ：输出验证阶段 大数据测试的最后或第三阶段是输出验证过程。 生成输出数据文 件，同时把文件移到一个 EDW （Enterprise Data Warehouse: 企 精彩文档 实用标准文案 业数据仓库 ）中或着把文件移动到任何其他基于需求的系统中。 在第 三阶段的活动包括： ? 检查转换 (Transformation) 规则被正确应用 ? 检查数据完整性和成功的数据加载到目标系统中 ? 通过将目标数据与 HDFS 文件系统数据进行比较来检查没有数 据损坏 4 架构测试 Hadoop 处理非常大量的数据， 并且资源密集。 因此，架构测试 对于确保大数据项目的成功至关重要。 系统设计不当或设计不当可能 导致性能下降，系统可能无法满足要求。至少， 性能和故障转移 测试 服务应在 Hadoop 环境中完成。 性能测试包括测试作业完成时间，