性能测试服务PTS技术体系-阿里云帮助与文档.PDF

性能测试服务PTS 技术体系 性能测试服务PTS/技术体系 技术体系 性能测试技术指南 1 编写目的 制定性能测试实施指南，从技术角度制定性能测试实施过程中关键技术规范，更好的对系统进行性能测试，帮 助客户更好地从技术上来规避系统上线后的风险。 2 适用范围 适用于PTS所有需要性能测试的项目。 对性能测试实施过程中非常重要、非常关键的相关技术进行分析；主要包括：系统环境、测试指标、业务模型 、数据量、测试模型、测试类型、脚本、场景、监控、瓶颈分析、调优、PTS分布式压测工具。 3 系统环境 3.1 分析 系统环境分为生产环境、测试环境等，做性能测试之前，肯定需要一套测试环境的，那么如何搭建、配置测试 环境，在性能测试前需重点考虑。 性能测试结果是要为生产系统服务的，那么理想中的性能测试关键最好就是生产环境，但是由于某种因素，不 可能将生产环境完整的再搭建一套，有时必须进行”裁剪”。 3.2 风险 测试环境的风险主要体现在跟生产差异太大，测试结果根本没有参考价值。 对测试环境系统平台、中间件、数据库等不熟悉和了解，也会导致瓶颈不易分析、不易调优等。 3.3 规范 3.3.1 测试环境搭建 测试环境搭建需满足如下规范： 测试环境架构与生产环境架构完全相同 测试环境机型与生产环境机型尽量相同 测试环境软件版本与生产环境软件版本完全相同，版本主要包括：操作系统、中间件、数据库、应用 等 测试环境参数配置与生产环境完全相同，参数主要包括：操作系统参数、中间件参数、数据库参数、 应用参数 1 性能测试服务PTS/技术体系 测试环境基础数据量与生产环境基础数据量需在同一个数量级上。 只能减少测试环境机器台数，并且需要同比例缩小，而不能只减少某一层的机器台数。 理想的测试环境配置是生产环境的1/2，1/4。 3.3.2 测试环境调研 测试环境调研，需要调研如下内容： 系统架构：系统如何组成的，每一层功能是做什么的，与生产环境有多大差异，主要为后面进行瓶颈 分析服务和生产环境性能评估。 操作系统平台：操作系统是哪种平台，进行工具监控。 中间件：哪种中间件，进行工具监控和瓶颈定位。 数据库：哪种数据库，进行工具监控和瓶颈定位。 应用：启动多少个实例，启动参数是多少，进行问题查找和瓶颈定位。 4 测试指标 4.1 分析 测试指标一般分为业务指标、资源指标、应用指标、前端指标： 应用指标：从业务人员的角度得出来的，例如：并发用户数、TPS、成功率、响应时间。 资源指标：从运维人员的角度得出来的，例如：CPU资源利用率、内存利用率、I/O、内核参数(信号量、打开 文件数)等。 应用指标：从开发人员的角度得出来的，例如：空闲线程数、数据库连接数、GC/FULL GC次数、函数耗时等 。 前端指标：从测试人员和开发人员角度得出来的，例如：页面加载时间，网络时间（DNS，连接时间、传输时 间等）。 4.2 风险 不同用户对系统的指标类型和期望值是不一样的，需要提前针对不同角色的人员进行指标调研，设定阀值，测 试出系统在阀值下的性能，瓶颈定位及调优。 未提前关注测试指标，将会导致测试结果不是相关人员需要的 ，结果是无效的。 4.3 规范 4.3.1 业务指标 业务响应时间(Response Time): 这个指标所有相关人员都明白其含义，业务部门更需要此指标的具 体值，一般情况下，不同系统的业务响应时间期望值是不同的，１秒以内最佳；像淘宝系统业