淘寶性能测试白皮书V10.docxVIP

序言二零零九，岁在己丑，秋末冬初，会于产品研发之测试，修性能书也，群贤 毕至，少长咸集。此地有系统框架，API 接口；又有 Web 应用，无线性能，分 布式各大中心，列坐其次。虽无丝竹管弦之盛，一书一典，亦足以畅叙幽情。是日也，天朗气清，惠风和畅。仰观系统之大，俯察测试之盛。所以游目骋 怀，足以极性能之娱，信可乐也。测试之相与，俯仰淘宝，或接口功能，测试一室之内；或安全性能，放浪形 骸之外。虽用例万殊，方法不同，当其欣于所遇，暂得于己，怏然自足，曾不知 新人倍增；及其所之未知，能力各异，感慨系之矣。向之所能，俯仰之间，已为 陈迹，犹不能不以之兴怀。况系统复杂，调优艰难。马云曰：“系统之不稳。岂 不痛哉！”每览昔人性能测试成就之由，若合一契，未尝不临技能嗟叹，不能喻之于怀。 固知技术名利为虚诞，齐知识业绩为妄作。后之视今，亦犹今之视昔。憾夫！故 列叙性能理论实践，录其指标模型策略，虽世殊事异，性能技术，其致一也。后 之览者，亦将有感于斯性能白皮书。郭芙 淘宝网测试掌门人2009 年 11 月 18 日于杭州目录序言 2目录 3引言 5性能测试指标 5Vuser虚拟用户5Transaction事务5TPS每秒事务数6PV Page View6Peak PV 高峰Page View6Concurrency并发7Scenario场景7Response Time响应时间7Think Time思考时间7CPU资源8Load负载9Std. Deviation标准差 10性能测试模型 10PV计算模型 10PV-TPS转换模型 12TPS波动模型 12共享中心性能测试模型 13前端页面性能测试模型 14性能测试策略 15性能测试评估 16关键业务 17日PV量17逻辑复杂度 17运营推广计划 17其它 17性能测试类型 18性能测试压力变化模型 18性能测试类型 181.性能测试 182.负载测试 193.压力测试 194.稳定性测试 19性能测试执行方法 19单场景 19混合场景 20性能监控 20监控指标 20监控工具 21监控步骤 23性能分析 24分析原则 24分析信息来源 24分析标准 24分析工具 24性能测试通过标准 27性能测试流程 28性能测试流程图 28性能测试流程主要活动 29性能测试文件模版 30结束语 30参考文献 31版本更新说明 32作者介绍 32引言淘宝网自创立以来，除了对功能的要求很高以外，对性能的要求也越来越高。从最初的 系统框架性能测试、TOP-API 接口性能测试，到现在的 Web 应用性能测试，无线性能测试 领域，淘宝性能测试在不断向前发展，横向、纵向都在不断深入、拓宽，不断创新。经过五彩石项目对淘宝的整体应用重构之后，淘宝网形成了以四个中心为应用基础的分 布式架构体系。而分布式网站的性能，很大程度上决定了网站的竞争优势。但是，一个应用 的性能由多方面因素决定，这样就增加了性能测试和性能调优的难度，也扩大了性能测试的 广度，这是一个挑战。专业的测试需要专业的团队，我们的团队也应运而生。本性能测试白皮书旨在以理论指导实践，以实践修正理论，将会从以下几个方面介绍和 分析淘宝的性能测试：性能测试指标、淘宝性能测试模型、性能测试策略、性能测试评估、 性能测试类型、性能测试执行方法、性能监控和性能分析、性能测试通过标准，以及性能测 试流程和文件模版。同时，也是让更多的人更好地了解淘宝性能测试和性能调优，参与性能 测试，共同将淘宝网做得更大、更强、更稳定，并且期望淘宝的性能测试能成为电子商务性 能测试业界的标准。性能测试指标Vuser虚拟用户Virtual user，模拟真实业务逻辑步骤的虚拟用户，虚拟用户模拟的操作步骤都被记录在 虚拟用户脚本里。Vuser 脚本用于描述 Vuser 在场景中执行的操作。虚拟用 户在 性能场 景中 有以下 12 个状态 ， Down, Pending, Init, Ready, Running, Rendezous, Passed, Failed, Error, Gradual Exiting, Exiting, Stopped. 如图 1 所示。图 1Transaction事务事务是性能测试脚本的一个重要特性。要度量服务器的性能，需要定义事务，每个事务 都包含事务开始和事务结束标记。事务用来衡量脚本中一行代码或多行代码的执行所耗费的 时间。可以将事务开始放置在脚本中某行或者多行代码的前面，将事务结束放置在该行或者 多行代码的后面，在该脚本的虚拟用户运行时，这个事务将衡量该行或者多行代码的执行花 费了多长时间。在性能测试脚本中，事务的标记会以下列形式出现（举例语言为类 JAVA 语言模式）。 如图 2 所示。t