大数据性能测试方案-V1.0浅析.doc

编号： 密级： XXX大数据平台 性能测试方案 [V1-1.0] 拟 制 人： 审 核 人： 批 准 人： [2016年月 文件变更记录 *A - 增加 M - 修订 D - 删除 版本号 日期 变更类型（A*M*D） 修改人 摘要 审核人 备注 V1.0 2016-01-08 A 新建性能测试方案 目 录 目 录 I 1 引言 1 1.1 编写目的 1 1.2 测试目标 1 1.3 读者对象 1 1.4 术语定义 1 2 环境搭建 1 2.1 测试硬件环境 1 2.2 软件环境 2 3 测试范围 2 3.1 测试功能点 2 3.2 测试类型 2 3.3性能需求 3 3.4准备工作 3 3.5 测试流程 3 4.业务模型 4 4.1 基准测试 4 4.1.1 Hadoop/ Spark读取算法的基准测试 4 4.1.2 Hadoop/ Spark写入算法的基准测试 5 4.1.3 Hadoop/ Spark导入算法的基准测试 6 4.1.4 Hadoop/ Spark导出算法的基准测试 7 4.2 负载测试 8 4.2.1 Hadoop/ Spark并行读取/写入算法的负载测试 8 4.2.2 Hadoop/ Spark并行导入/导出算法的负载测试 9 4.3 稳定性测试 10 4.3.1 Hadoop/ Spark并行读取/写入/导入/导出算法，7*24小时稳定性测试 10 5 测试交付项 12 6 测试执行准则 12 6.1 测试启动 12 6.2 测试执行 12 6.3 测试完成 13 7 角色和职责 13 8 时间及任务安排 13 9 风险和应急 14 9.1影响方案的潜在风险 14 9.2应急措施 14 1 引言 编写目的 本测试方案将对XXX大数据平台的测试方案、测试范围，测试的软件硬件环境、测试进度、测试人员的分工和职责以及测试流程进行详细的定义和整体的描述。 测试目标 本次性能测试的目标是检测《XXX大数据平台》在服务器上运行时，了解该服务器的各项性能情况。 读者对象 本方案的预期读者是：项目负责人、测试人员、运维人员和其他相关人员。 1.4 术语定义 术语 定义 性能测试 通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行测试 场景 用于根据性能要求定义在每一个测试会话进行期间发生的事件 事务 表示要度量的最终指定的某个特定业务 2 环境搭建 2.1 测试硬件环境 服务器名 数量 期望到位阶段 备注 服务器 1 开发提测前 2.2 软件环境 资源名称 配置 3 测试范围 3.1 测试功能点 编号 测试点 对应算法 备注 1 Hadoop读取 2 Hadoop写入 3 Hadoop导入 4 Hadoop导出 5 Spark读取 6 Spark写入 7 Spark导入 8 Spark导出 3.2 测试类型 类型 定义 备注 基准测试 单事物单用户测试，目的是对选择的单用户在无压力情况下（无额外进程运行并占用系统资源）情况下，获取系统处理单请求的情况 负载测试 通过逐步增加系统负载，测试系统性能的变化 稳定性测试 通过给系统加载一定业务压力以此检测系统是否稳定运行。 内存 使用率不高于80% I/O 使用率不高于80% 响应时间 Network 使用率不高于80% 3.4准备工作 测试功能点全部通过功能测试，确保功能上没有问题； 测试环境服务器已搭建，被测项目已部署； 准备测试客户机； 准备好测试数据； 创建测试场景，并配置好每个场景的设置； 测试过程中保存好测试数据和分析结果，并规范对执行结果进行命名 3.5 测试流程 4.测试策略 4.1 基准测试 4.1.1 Hadoop/ Spark读取算法的基准测试 场景1：数据容量100G时，进行读取算法的基准测试 用例名称 数据量100G，读取功能的基准测试 算法 读取 验证功能 Hadoop/ Spark的读取测试 测试目的 对比Hadoop/ Spark的读取算法，进行数据容量100G读取操作时，redpower服务器运行情况 前置条件 操作步骤 1.准备数据容量100G 2. 对redpower服务器进行资源监控 3. 客户端执行Hadoop/ Spark的读取代码 运行结果 类别 CPU使用率 内存使用率 I/O NETWORK 响应时间